神经网络泛化问题的补充文献

昨天速读了几篇文章，总结为《神经网络的本质在于泛化能力》。今天继续，补充如下。

文献[1]综述了神经网络泛化理论研究的历史和提高泛化能力的方法。

文献[2]给出了神经网络结构设计的几种方法，包括构造法，删除法和进化法等。

文献[3]讨论了神经网络泛化特性的改善方法。包括以下几种方法：

给训练目标增加约束

调整网络拟合能力

使训练网络及时终止

神经网络集成

从训练样本出发

文献[4]综述了主要机器学习策略，包括

机械式学习

指导式学习

归纳学习（包括示例学习和观察与发现学习）

类比学习

基于解释的学习

基于神经网络的学习

支持向量机

基于遗传算法的学习

强化学习

多agent的学习

文献[5]尝试从函数论的角度分析影响网络泛化性能的因素。

课件[6]总结了提高神经网络泛化能力的几种方法：

Cross-Validation

WeightRestrictionandWeightSharing

StoppingTrainingEarly

RegularizationandWeightDecay

AddingNoise/Jittering

参考文献：

1：《神经网络的泛化能力与结构优化算法研究》武妍等

2：《神经网络结构设计的准则和方法》方剑等

3：《神经网络泛化特性改善方法》张胜等

4：《机器学习的主要策略》闫友彪等

5：《前向神经网络泛化问题研究》盛守照等

6：《IntroductiontoNeuralNetworks》Lecture10：ImprovingGeneralization?JohnA.Bullinaria,

赞赏