此前经历了大概30年的发展，但是当时受限于社会评价或跨领域知识的匮乏，导致人工智能学科的发展其实相当曲折。直到20世纪80年代，人工智能的发展进入了新的高潮，这里有几个关键词：专家系统模拟人类、计算机视觉、RNN雏形、玻尔兹曼机无监督模型、贝叶斯网络、鲁棒性、CNN出现。

3 应用发展期：20世纪80年代

人工智能走入应用发展的新高潮。专家系统模拟人类专家的知识和经验解决特定领域的问题，实现人工智能从理论研究走向实际应用。机器学习(尤其是神经网络)也在其他学科知识的帮助下不断的探索不同的学习策略和学习方法，在大量的实际应用中也开始慢慢复苏。

这里我想把BP算法单独拿出来再说一次，因为实在是太重要了！！！

(资料图)

BP算法是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络模型之一。

在人工神经网络的发展历史上，感知机(Multilayer Perceptron，MLP)网络曾对人工神经网络的发展发挥了极大的作用，也被认为是一种真正能够使用的人工神经网络模型，它的出现曾掀起了人们研究人工神经元网络的热潮。而单层感知网络（M-P模型）做为最初的神经网络，具有模型清晰、结构简单、计算量小等优点。但是，随着研究工作的深入，人们发现它还存在不足，例如无法处理非线性问题（比如异或问题，XOR），即使计算单元的作用函数不用阀函数而用其他较复杂的非线性函数，仍然只能解决线性可分问题．增强网络的分类和识别能力、解决非线性问题的唯一途径是采用多层前馈网络，即在输入层和输出层之间加上隐含层，构成多层前馈感知器网络。

最早由Werbos于1974年在博士论文中提出BP算法（前向传播/逆向传播）。

20世纪80年代中期，David Runelhart。Geoffrey Hinton和Ronald W-llians、DavidParker等人分别独立发现了误差反向传播算法(Error Back Propagation Training)，简称BP，系统解决了多层神经网络隐含层连接权学习问题，并在数学上给出了完整推导。人们把采用这种算法进行误差校正的多层前馈网络称为BP网。

1983年加州理工学院的物理学家John Hopfield利用神经网络，通过电路模拟仿真的方法求解了旅行商难问题，在学术界引起的较大的轰动，这也推动了人工智能第二次的快速发展。

1986年，Geoffrey Hinton和David E. Rumelhart等人的努力下，BP算法被再次发明，并广泛应用于升级网络的训练中。目前深度学习各种网络模型也均采用了86年提出的BP算法。

基本原理就是：让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。

1980年福岛邦彦提出卷积和池化的时候，并没有把BP算法应用在神经网络训练中，所以很可惜。

1989年YannLeCun想到了在卷积和池化基础上结合BP算法发明了现在的CNN卷积神经网络，并首次将卷积神经网络成功应用到美国邮局的手写字符识别系统中。

所以上文中提到的Geoffrey HintonHinton、YannLeCun以及后来提出GAN对计算机视觉CV造成重要革命性影响的Yoshua Bengio，并成为当世“深度学习三巨头”的称号。