原标题：基于斯坦福CS231n课程的学习经验与实战技巧|分享总结

雷锋网AI研习社按：斯坦福大学的CS231n主要介绍卷积神经网络相关的深度学习知识，课程从算法的公式到实践进行了全面的介绍。基于该课程的三场实战分享直播课近期在AI研习社上线。

在雷锋网的AI研习社直播课上，张智伟，李振，陈闽川三位老师分别为大家带来了使用TensorFlow实现DQN实战、深入讲解图像分类和网络优化以及AI视觉芯片共三场干货满满的直播。该课程结合CS231n课程同时将课程内容与应用领域连接起来，让大家可以真正的学会如何应用深度学习。

以下是嘉宾分享内容：

张智伟：手把手教你用TensorFlow实现DQN

本次分享的内容主要集中在CS231n第十四课——Deep Reinforcement Learning。首先回顾深度学习的几大分支。

什么是强化学习？强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。强化学习有两个主体，agent和environment，每个时间节点，agent会输出一个action并传送个环境，环境会产生下一个状态以及产生一个奖励并输入agent，从而构成闭合的循环。

用数学来描述这个过程就是马尔可夫决策过程（MDP），马尔可夫决策过程(Markov Decision Process, MDP)也具有马尔可夫性，与上面不同的是MDP考虑了动作，即系统下个状态不仅和当前的状态有关，也和当前采取的动作有关。MDP实际上是一个五元组，由五个元素组成。

什么是Q-Learning？Q为动作效用函数（action-utility function），用于评价在特定状态下采取某个动作的优劣，可以将之理解为智能体（Agent）的大脑。Q-Learning的核心是贝尔曼方程，它给我们的启示是我们可以用下一时刻的最佳Q值函数表示当前的最佳Q值函数。这样就可以迭代的求贝尔曼方程。

在深度学习的背景下，我们可以用神经网络拟合出最佳Q函数。有了神经网络该如何优化它的函数呢？还是要用到贝尔曼方程。

接下来给大家解读一下DQN算法，主要分为六个部分，对我们比较有用的包含在第二部分和第四部分。

这篇论文我总结了有三个亮点。一是replay memory，二是训练网络与计算标签的网络分离，三是网络结构。

介绍完三个亮点，我们再来看一下算法流程。

讲了论文，我们开始自己使用TensorFlow来实现一个神经网络。主要用的库包括TensorFlow、numpy（数组）、pil（基础图像操作）、gym（openai开源的库）、random。

最后把代码链接发给大家，如有疑问可以看源码：https://github.com/BigJerry/TooNaive/blob/master/DQN/DQN.py

李振：图像分类与网络优化

首先还是普及一下深度学习的基本概念，然后再给大家介绍一下我今天分享的思路，并介绍一些我个人的关于应用的意见。

接下来给大家分享一下我个人对图像分类的一些理解与思路。

首先是任务分析，任务分析主要包括任务的基本情况和数据的基本情况。

Tags：

转载请标注：SEO三人行——基于斯坦福CS231n课程的学习经验与实战技巧