AI杂谈从一篇参考文献比正文还长的文

欢迎来到专栏《AI杂谈》，顾名思义就是说一些比较杂的有意思的东西了，任何东西都有可能。

今天首先介绍一篇文章，年的一篇深度学习综述，《DeeplearninginNeuralNetworks：AnOveriew》，来自于瑞士人工智能实验室JurgenSchmidhuber。这是我见过的唯一一篇参考文献比正文还长的文章（看来还是文章看得太少了），正文17页，参考文献27页。在这个基础上对深度学习的各个方向做简单的介绍。

作者

言有三

编辑

言有三

01

文章内容

顾名思义这是一篇深度学习综述文章，虽然是4年前，时间有点久远了，但是还有具有可读性的，尤其是历史部分。文章的内容包括以下几个方面。

1.1Introduction

前面四节都是简介，加起来也只有5页纸，而且一些术语很是晦涩。

第一节简单介绍了什么是神经网络，神经网络的几个重要历史节点（年代的启蒙，年代反向传播被用于训练模型，年后开始逐渐在各类比赛中崭露头角等）。

提到了早期的无监督学习和有监督学习，在没有反向传播算法之前，实际上主流是采用无监督学习的方案，winner-take-all算法是很常见的。

第二节扯了没什么卵用的东西。

第三节讨论了模型深度的问题，何时shallowlearning就能搞定问题，何时又需要deeplearning？这是个很复杂的工程问题了，早点想一想也好。

第四节说了深度学习中的一些常见主题。提了无监督学习对有监督学习和增强学习的辅助，甚至还有GPU，不过笔者觉得写的真烂。

1.2SupervisedNNs

这一节才是正式开始说历史，咱们可以看一下目录了解大概。

5.1节说的是上个世纪40年代，McCulloch和Pitts提出的MP模型。

5.2节说的是上个世纪60年代Hubel和Wiesel研究猫的大脑并发现了大脑视觉机制，这是整个卷积神经网络的基础，两人也因此获得了诺贝尔生理学与医学奖。

5.3节说的是最早的多层感知器模型，甚至年的时候已经达到了8层，当时的机器下不知道怎么训练的，有时间要去看看。

5.4节说的是第一个卷积神经网络，Neogognitron。在这个网络中已经出现了现代卷积神经网络的基本轮廓，卷积和下采样，







































中科白癜风抗复发治疗
儿童白癜风治疗

转载请注明：http://www.shijichaoguyj.com/wxbzhu/5184.html