干货通过篇ML论文总结出的27

作者：AndrejKarpathy

翻译：Steven

来源:全球人工智能

概要：我们记录了在全文任何地方（包括参考文章等）提到过这些框架的论文

机器学习的趋势概述

如果你用过谷歌趋势（GoogleTrends），你一定会发现它很酷——你输入一些关键词，你就能够看到这些关键词的谷歌搜索量是如何随着时间而变化的。在过去五年里，我碰巧使用了一个收藏了篇机器学习论文的arxiv-sanity数据库，这些论文都来自于arXiv。因此，本文将这五年间机器学习的发展趋势进行了简单的总结。

让我们通过arxiv-sanity的类别目录(cs.AI,cs.LG,cs.CV,cs.CL,cs.NE,stat.ML)，首先看看提交的总论文数。我们得到了如下结果：

是的，年3月份，接受了多篇与机器学习领域有关的论文。并且，这些峰值很可能受到了会议截止时间（例如NIPS/ICML）的影响。请注意，这并不是有关于此领域本身规模的声明，因为并不是所有人都将论文提交到arXiv上。我们将提交的论文总数作为分母，来看看包含我们感兴趣的某些关键词的论文占了多少。

12大深度学习框架

首先，让我们看看现在正在使用的深度学习框架。为了计算，我们记录了在全文任何地方（包括参考文章等）提到过这些框架的论文，对于年3月上传的论文，我们得到如下了结果：

我们可以看出，在年3月提交的所有论文中，有10%的论文提到了TensorFlow。当然，并不是所有的论文都宣布了它们使用的框架。但是，如果我们假定宣布了此框架但实际上并没有使用此框架的论文占有一些固定的随机概率，那么大概有40%的社区正在使用TensorFlow。下面是一些流行的框架随着时间的使用图：

机器学习算法框架的使用程度分析

我们看到，Theano已经出现一段时间了，但是它的使用增长情况却有些停滞不前。Caffe的使用在年爆发式地增长，但是在过去几个月被TensorFlow超越。Torch（和最近的PyTorch）使用情况也在上升，但较为缓慢，比较稳定。在接下来的几个月中，看这些趋势如何变化也会很有趣。我认为，Caffe/Theano使用将会缓慢减少，由于PyTorch，TF的使用增长将会上升地缓慢一些。

卷积模型：

有趣的是，如果我们看一下常见的卷积神经网络，情况又如何呢？在这里，我们可以清楚的看到，循环神经网络的使用迅速飙升，在今年3月的论文中，循环神经网络的比例占到了9%。

优化算法：在优化算法方面，似乎Adam算法很热门，占到了23%！实际比例难以估计，它可能高于23%，因为一些论文没有宣布它们所使用的优化算法，并且很大一部分论文甚至可能没有优化任何神经网络；这一比例也可能降低约5%，因为“Adam”可能与某些作者的名字相同了……尽管Adam算法仅仅才发布了不到3年，但是的确很流行。

我也很好奇地绘出了深度学习中提到的一些具有最高PIs（类似于引用次数，但是1）使用“0/1”实现计数，它更强大；2）它被归一化）的图，如下：

有几件事需要注意：提交的论文中有35%提到了“bengio”，但是这里有两个“bengio”：Samy和Yoshua，将他们也添加到了图上。特别地，有30%的新论文中提到了GeoffHinton！

27个ML框架最热门关键词

有很多方法来定义最热门关键词。但是对于本实验，我查看了每篇论文中的一元或二元词组，并记录了它们相对于去年出现次数的最大比率。具体方式是记录相关词组去年的出现频次，然后今年的出现频次比去年高得多，比率=今年出现的频次/去年出现的频次。最大比率靠前的包括如下：

例如，ResNet的比率是8.17。这是因为一年前，所有提交的论文中，与ResNet有关的论文占1.%（在年3月），但是年3月，所有提交的论文中，ResNet有关的论文占了8.53%，所以8.53/1.~=8.17。所以你可以得出如下结论：过去一年流行的核心创新包括1)ResNets,2)GANs,3)Adam,4)BatchNorm。在研究兴趣方面，我们看到了1）兴趣转移，2）深度强化学习，3）神经机器翻译，可能还有4）图像生成。在架构上，热点是1）全连接神经网络，2）LSTMs/GRUs，3）Siamese网络，4）编码解码器网络。

反之如何？过去一年，过去比较流行的论文方向现在开始没落了，这包括如下：

我不知道“fractal”是什么，但是更一般地说，它就像贝叶斯非参数模型一样正受到威胁。

调查结论：现在是时候提交用Adam优化算法解决全连接神经网络编码解码器、用于StyleTransfer的BatchNormResNetGAN等有关的论文了。

作者：AndrejKarpathy

翻译：Steven

来源:全球人工智能

未来科技论坛暨”未来科技资助计划”发布

人工智能学家/未来科技学院与中科创星，中国科学院虚拟经济与数据科学研究中心，金融发展局等机构联合举办未来科技论坛和发起“未来科技资助计划”，联合科技企业家、风险投资家，讲解当前人工智能，互联网，脑科学，机器人最新进展，对科学家的前沿科学研究和科技创业进行支持。为诞生中国的重大原始科学创新和科技独角兽提供燃料和催化剂。

主办单位：中国科学院虚拟经济与数据科学研究中心

承办单位：人工智能学家/未来科技学院

支持单位：中科创星，泰智会，常州经开区金融发展局

会议时间：年4月26日

会议地点：北京市海淀区中关村丹棱街1号互联网金融中心1楼泰智会大厅

参会嘉宾：青年科学家代表，科技企业家代表，投资界代表、政府代表

未来科技论坛议题：

1.邀请人工智能，互联网，脑科学，机器人等方面的著名科学家进行最新科技前沿进展的报告

2.邀请著名投资人，科学家，科技企业家从不同角度阐述如何支持科学家的前沿科学研究和科技创业。

3.人工智能学家/未来科技学院发布科学资助平台“FundingFuture”，并与合作伙伴联合启动“未来科技资助计划”

报名参加论坛

转载请注明：http://www.shijichaoguyj.com/wxnr/6366.html