参阅
- 《智能学简史》冯天瑾,ISBN:9787030179784
- 《图灵的大教堂:数字宇宙开启智能时代》 [美] 乔治·戴森,ISBN: 9787213066658
- 《人工智能简史》 尼可,ISBN: 9787115471604
人工智能学科的源头
人工智能(Artificial Intelligence, AI),一般认为起源于1956年在达特茅斯学院召开的夏季研讨会。
哲学思想略谈
公元前:
- 先秦诸子:名与实的关系;同一律和矛盾律;古代逻辑学:逻辑、辩说,参阅金岳霖《形式逻辑》;
- 古希腊:希波克拉底:脑的发现;苏格拉底:善恶的标准问题,判断定义是否正确的问答法(影响到了图灵);亚里士多德:逻辑学,三段论,科学证明理论,矛盾律、排中律、归纳法。
近代:
-
笛卡尔:精神肉体二元论
-
概率论的诞生
-
微积分的诞生与发展;牛顿力学的创立,及其对哲学思潮的影响。
-
机械唯物主义;拉美特利:人是机器。
-
布尔:用符号语言与运算可以表示任何事物。符号逻辑。
-
生命进化论的发展:拉马克,达尔文,赫胥黎,孟德尔。
-
脑科学的发展;1943年McCulloch 与 Pitts提出脑模型:MP模型,用电子装置模仿人脑结构。
-
心理学的发展;弗洛伊德创立精神分析学。
-
维特根斯坦:机器不能思维
-
1926年,海森堡不确定性原理
-
1931年,哥德尔不完备定理:数学的能力是有限的
不确定性是复杂世界的一个重要特征。 逻辑思维具有局限性。
-
图灵:停机问题。《论可计算数及其在判定问题中的应用》、《基于序数的逻辑系统》,计算机科学之父。
-
冯诺伊曼:计算机系统结构。
-
维纳:自动机,用统一的观点研究动物和机器。《控制论》。钱学森《工程控制论》
-
卡尔曼:卡尔曼滤波器,最优控制问题。
-
香农:信息论。
人工智能的诞生
- 1936-1937年,艾伦·麦席森·图灵(Alan Mathison Turing)发表《论可计算数及其在判定问题中的应用》,正式揭开“机器模仿人类思维”的序幕。
- 1943年,麦卡洛克(Warren McCulloch)和皮茨(Walter Pitts)发表《神经活动中内在思想的逻辑演算》,标志着神经网络的诞生,是联结主义的开端。
- 1950年,艾伦·麦席森·图灵(Alan Mathison Turing)发表了划时代的论文《机器能思考吗》,提出“图灵测试”。
- 1956年,达特茅斯论坛,“人工智能(Artificial Intelligence)”一词正式被提出。
人工智能的不同学派
- 符号主义(symbolicism),又称为逻辑主义(logicism)、心理学派(psychologism)或计算机学派(computerism),主张用显式的公理和逻辑体系搭建人工智能系统。符号主义认为人工智能源于数理逻辑。符号主义者早在1956年首先采用“人工智能”这个术语。代表性方法有专家系统、知识图谱、决策树等。
- 联结主义(Connectionism),主张研究大脑模型,利用数学模型来研究人类认知的方法,用神经元的连接机制实现人工智能。代表性成果是1943年麦卡洛克(McCulloch)和数理逻辑学家皮茨(Pitts)创立的脑模型,即MP模型,开创了用电子装置模仿人脑结构和功能的新途径。20世纪60~70年代,连接主义,尤其是对以感知机(perceptron)为代表的脑模型的研究出现过热潮,由于受到当时的理论模型、生物原型和技术条件的限制,脑模型研究在20世纪70年代后期至80年代初期落入低潮。直到Hopfield教授在1982年和1984年发表两篇重要论文,提出用硬件模拟神经网络以后,连接主义才又重新抬头。1986年,鲁梅尔哈特(Rumelhart)等人提出多层网络中的反向传播算法(BP)算法。联结主义的代表性方法有:神经网络、支持向量机等。
- 行为主义(actionism),又称为进化主义(evolutionism)或控制论学派(cyberneticsism)。认为人工智能源于控制论。维纳(Wiener)和麦克洛克(McCulloch)等人提出的控制论和自组织系统以及钱学森等人提出的工程控制论和生物控制论,影响了许多领域。控制论把神经系统的工作原理与信息理论、控制理论、逻辑以及计算机联系起来。早期的研究工作重点是模拟人在控制过程中的智能行为和作用,如对自寻优、自适应、自镇定、自组织和自学习等控制论系统的研究,并进行“控制论动物”的研制。控制论系统的研究在机器人控制领域有很大建树。行为主义代表性方法有强化学习等。
神经网络模型的发展历史
- 1943年,麦卡洛克(Warren McCulloch)和皮茨(Walter Pitts)发表《 A Logical Calculus of Ideas Immanent in Nervous Activity 》神经网络诞生;
- 1957年,康奈尔大学的航空实验室的罗森布拉特(Frank Rosenblatt)实现感知机模型Perceptron,发表论文《The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain》,神经网络的研究迎来了第一次高潮。
- 1969年,“符号主义”代表人物马文·明斯基(Marvin Minsky)和和Seymour Papert采用严格的数学证明,证明了单层感知器只能解决线性问题,当时计算机的计算能力还不足以用来处理大型神经网络。这些论点给神经网络研究以沉重的打击,政府资助机构逐渐停止了对神经网络研究的支持,从此,神经网络研究进入了长达二十年的低潮时期。
- 1974年,哈佛大学沃伯斯(Paul Werbos)在博士论文中首次提出了通过误差的反向传播(BP)来训练人工神经网络。
- 1982年,物理学家霍普菲尔德提出了Hopfield神经网络。这是最早的RNN的雏形。霍普菲尔德神经网络模型是一种单层反馈神经网络(神经网络结构主要可分为前馈神经网络、反馈神经网络及图网络),从输出到输入有反馈连接。
- 1983年,Terrence Sejnowski, Hinton等人发明了玻尔兹曼机(Boltzmann Machines),也称为随机霍普菲尔德网络。
- 1986年,David Rumelhart、Geoffrey Hinton和Ronald Williams发表了著名的文章 Learning representations by back-propagating errors (《通过误差反向传播进行表示学习》),回应了Minsky在1969年发出的挑战。发展了多层感知器的误差反向传播算法(Back Propagation, BP)通过设置多层感知器,解决了线性不可分问题。
- 1987年6月,首届国际神经网络学术会议在美国加州圣地亚哥召开,到会代表有1600余人。
- 1989年,Yann LeCun 结合反向传播算法与权值共享的卷积神经层发明了卷积神经网络(Convolutional Neural Network,CNN),并首次将卷积神经网络成功应用到美国邮局的手写字符识别系统中。
- 21世纪初,借助GPU和分布式计算,计算机的计算能力大大提升。
- 2006年,杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念(Deeping Learning),开启了深度学习在学术界和工业界的浪潮。2006年也被称为深度学习元年,杰弗里·辛顿也因此被称为深度学习之父。
- 2006年,李飞飞开始带头构建大型图像数据集ImageNet,图像识别大赛由此拉开帷幕。
- 2011年,吴恩达在Google创建了Google Brain项目,通过分布式集群计算机开发超大规模的人工神经网络。
- 2012年,Hinton和他的学生Alex Krizhevsky设计的AlexNet神经网络模型在ImageNet竞赛大获全胜,这是史上第一次有模型在 ImageNet 数据集表现如此出色,并引爆了神经网络的研究热情。
- 2015年,Microsoft Research的Kaiming He等人提出的残差网络(ResNet)在ImageNet大规模视觉识别竞赛中获得了图像分类和物体识别的优胜。
- 2015年,谷歌开源TensorFlow框架。它是一个基于数据流编程(dataflow programming)的符号数学系统,被广泛应用于各类机器学习(machine learning)算法的编程实现,其前身是谷歌的神经网络算法库DistBelief
- 2015年,马斯克等人共同创建OpenAI。