作者：未知作者 笔记数：115 条
控制论 信息论 系统论
大家有兴趣的话可以搜索一下“BrainFuck”和“Whitespace”这两门语言看看。
如果确实有一个或多个能够解释思维的定律或理论存在的话，就非常有可能找到能承载智慧的抽象模型，然后通过机械来实现它。
如果将这个智能定义为“学习机器（Learning Machine）”，那创造人工智能的过程就可以分解为建造一部学习机器以及对这部机器的教育过程两个部分。
结构派 心智派
“在我们面前有两条通向智能的路径，一条是模拟人脑的结构，一条是模拟人类心智，但我相信这两条路最终是殊途同归的。”
具身智能”（Embodied Intelligence）和“非具身智能”（Disembodied Intelligence）两大类。
而具身智能，则是以提出《控制论》的维纳为代表，著有《自复制自动机理论》（Theory of Self-Reproducing Automata）的冯·诺依曼也是这方面探索的先驱者之一。
😂😂
2013年12月24日英国女王伊丽莎白二世破例（首次对逝者赦免）宣布赦免已逝世将近50年的图灵。2017年1月31日，《图灵法案》生效，历史上与图灵有类似经历的约49000位因同性恋定罪者都被赦免。
达特茅斯会议的重要性，并不在于它获得了什么了不起的成果—也许最大的成果就是提出了“人工智能”这个名词，而是这个会议汇聚了一群日后将对人工智能做出重要贡献的学者，
1961
《迈向人工智能》（Steps Toward Artificial Intelligence）
人工智能是一门涉及多个领域的交叉学科，与数学、哲学、信息科学、计算机科学、物理学、心理学、神经生理学、认知科学和控制科学都有很密切的联系
控制论圈子”的学者，几乎都能够用“不会数学、仿生学和控制论的心理学家不是一个好人工智能科学研究者”来形容
香农一手创建了信息论，是信息科学的奠基人之一。他一生获奖无数，但在家中所有的奖状和证书都锁在抽屉里，家里最显眼的地方，只放着一张证书—“杂耍学博士”（Doctor of Juggling）[插图]。
Claude E. Shannon Award
图灵自己虽然没有做出真正实用的下棋程序，但他在著名的《计算机器与智能》一文中号召大家不妨优先从下棋这件事情上寻找机械智能的痕迹，吸引了后面一大波继承者前赴后继地挑战棋类运动。
Minimax算法”，这是一种零和算法，主要思路是一方要在可选的分支中选择将其优势最大化的路径，另一方则选择令对手优势最小化的路径，两者的对弈就过程构成一颗博弈树
由于人脑结构的一致性，人类最根本的语言处理机制是一致的，这种机制就是人类一切语言所共有的特点，并将这种机制视为一种“通用语法”（Universal Grammar），各种语言的具体语法可以由通用语法来转换生成。
人们了解了这些行为背后的原理之后，它立刻就变得代表不了智能，归入可机械化的任务了。我们人类定义的“智能”范围，似乎随着人工智能的发展成果而不断变窄，业界称这个趋势为“AI效应
“As soon as it works, no one calls it AI anymore。”
符号主义学派的思想和观点直接继承自图灵，提倡直接从功能的角度来理解智能，简而言之就是把智能视为一个黑盒，只关心这个黑盒的输入和输出，而不关心黑盒的内部结构。
逻辑推理和搜索来替代大脑思考和认知过程
符号主义学派利用“符号”（Symbolic）来抽象表示现实世界，利用逻辑推理和搜索来替代人类大脑的思考、认知过程，而不去关注现实中大脑的神经网络结构，也不关注大脑是不是通过逻辑运算来完成思考和认知的
阶段一：符号主义推理期
阶段二：符号主义知识期
阶段三：符号主义学习期
三段论演绎推理
而谓词逻辑的出现，打破了逻辑学与科学，特别是逻辑学与数学之间最关键的一道隔阂。
我们所处的这个世界，广泛采用语言文字来描绘的知识，是否都可以通过这种方式以符号来描述？还有更关键的另一个问题，符号化之后，人类大脑中思考各种问题的推理过程是否也能使用数学运算和定理来完成？
利用符号来表示逻辑中的各种概念，实现了完全通过用抽象代数来记述逻辑推理过程，这种方法现称“布尔代数”或“布尔逻辑”
从此，逻辑学从哲学的分支逐渐转变为数学的分支。逻辑研究的数学化，为逻辑学最终成为一门完全独立的学科铺平了道路。
认知即计算
描述已知，推理未知
逻辑理论家采用的算法和今天计算机自动定理证明这个学科分支的主流算法思想（如归结原理、DPLL算法）并没有很直接关系，甚至可以说就只是对形式化的前提进行简单乃至粗暴的搜索而已
LISP的重要特点“元编程”（Meta Programmed）就来源于它的数据可以变为程序、符号可以修改自身的行为这种能力，使用这个特性，程序可以很方便地实现新知识改进程序本身这个目标了。
智能高的表现恰恰是不用经过大量搜索也能解决问题，这就是启发式搜索假说的基本观点。启发式搜索得到的结果不一定是最优的、最精确的，但是它的成本是可以负担的，而且结果一般而言会是有效的。
语义网络
学习能力、记忆能力、思考能力既是人类智能的内在基础，也是人类智能行为的外在表现
塞缪尔的那个能自我学习提升棋力的跳棋程序，靠的就是“死记硬背”了17万个不同棋局的应对方法，最终打败了美国跳棋的州冠军，可算是机械式机器学习“大力出奇迹”的典范
这两个思路正好就对应了人类认知世界的两种手段：演绎和归纳[插图]。在逻辑学中相对更重视演绎[插图]，但在人类的现实生活中，归纳却是人类认知世界更常用的工具。
基于符号的机器学习算法中最成功、应用最为广泛的就非“决策树学习”莫属了
以决策树学习为代表的基于符号的机器学习有一个很好的性质：它生成的模型是一个白盒模型，输出结果的含义很容易通过模型的结构来解释，而神经网络输出的是一个黑盒模型，
可解释性是符号主义思想先天决定的，这也是基于规则学习算法对比起现在流行的基于神经网络学习算法的一个巨大优势。
符号主义面临的难题一：更多问题无法被形式化
一是“智能”实在太过复杂、抽象，人类的大脑能够解决的问题可以说无所不包，虽然其中的某些问题可以被形式化，特定问题可以找到支撑的科学原理，但是更多问题往往无法被形式化，也不清楚背后的运作机制，以至于在其他科学里一直行之有效的“根据具体现象，总结一般规律”, “根据客观规律，推理未知现象”的研究方法在研究智能时，竟都显得有点无从下手
符号主义面临难题二：np完全问题
2011年学校还是讲的符号主义理论
“机器拟人心”和“机器拟人脑”
心灵捕手
卡尔纳普看过读书笔记后，同样对皮茨惊为天人，遂替只有初中文凭的皮茨在芝加哥大学安排了一份……打扫卫生的工作
尝试设计一种能够表达人类思考过程的通用语言，并尝试构造执行该语言的推理演算工具的数学和哲学家
机械大脑
罗素在《数学原理》中仅使用了与、或、非三种基本逻辑运算，将一个个简单命题连接成越来越复杂的关系网络，进而描述清楚了整个数学体系。
在人类大脑的神经网络结构中，神经元链条连成环状是不可避免的，但如果是这样的话，环中最后一个神经元的输出又会成了第一个神经元的输入，这是一个自己咬自己尾巴的神经元网络
这个信息跟闪电发生的时间毫无关联，是一个“挤掉了时间的印象”。或者简单地说，这就是“记忆”。
在1947年，第二届控制论大会上，皮茨宣布将会以概率来解释神经网络作为他博士论文的题目
青蛙的眼睛不只是记录下来他看到的东西，还会将诸如对比度、曲率及运动轨迹等视觉特征分析过滤出来一并传递给大脑。“眼睛跟大脑沟通的语言是已经高度组织化并且经过解译的”
赫布法则”（Hebb’s Law）的学习机制
罗森布拉特的Back Propagation
罗森布拉特的“Back Propagation”（请注意，此算法与今天深度学习的误差反向传播算法名字相似但内容并不一样）训练方法就不再有效了，原因是不同层之间的权重调节并非独立的，它们的取值会互相影响，不能再面向单个权重来调节
感知机：计算几何学导论》，业内普遍认为此书阻碍了神经网络的发展
有人的地方就有江湖，哪个圈子都少不了争名夺利
大概当时是真的没有任何人能够预见到，神经网络和连接主义在二十多年后还会有机会逆袭，并终会成为人工智能研究的最主流最热门的技术。
但这毕竟为时已晚，如同之前罗森布拉特被整个人工智能学术界声讨那样，现在又有许多人工智能的研究者反过来认定明斯基对罗森布拉特的死亡有间接的责任，认为他是不可原谅的。
图灵在他1948年写给英国科学院的论文《智能机器》[插图]里面，就曾经把研究智能的方向划分成了“具身智能”（Embodied Intelligence）和“非具身智能”（Disembodied Intelligence）两类[插图]
“具身智能”的观点则认为智能、认知都是与具体的身体、环境密切相关的，它们之间存在内在的和本质的关联，智能和认知两者必须以一个在环境中的具体的身体结构和身体活动为基础。
Actionism
前两章着重介绍了非具身智能的进展和成果，追寻具身智能的研究同样在人工智能中成长发酵，便形成了本章的主角—“行为主义学派”（Actionism）
控制论学派”（Cyberneticsism）
根据其学说特点，有时候也被称作“进化主义学派”（Evolutionism）。
大量相关的研究并没有归入人工智能范畴里，而是放到了控制科学、人工生命、机器人学等与人工智能有密切关系的交叉学科之中。
又是犹太人
Cybernetics
开创了一个全新的学科“控制科学”（ControlScience），也开创了人工智能中的行为主义学派
，二战时期英军一台高射炮的不同部件之间可能会相距几百英尺，中间通过电话线路相连，各个部件都需要不同人员协同操作，使用电话人工通话来传递信息
负反馈和循环因果律
Cybernetics: On Control and Communication in the Animal and the Machine
，维纳在《控制论》中将动物与机器相提并论，也引起了不少宗教人士的不满与抗议，认为这冒犯了造物主和人的尊严
《机器崛起：控制论遗失的历史》
莱布尼茨提出的机械式思维演算系统与人工智能真的是关系不浅
行为主义方法：刺激和反馈
如果把行为广义地定义为系统相对于环境做出的变化，那么，一个系统可以从外部探知的变化都可以称为行为。
随机系统
控制论其实是一种统计理论，它关心的不是系统根据单独一次输入后产生的动作，而是对全部输入整体上能够做出合乎预期动作。
它同时具有统计上的确定性和个体上的不确定性，因而是一种统计上的因果关系
在控制系统中引入统计属性，从根本上改进了机械式的因果观念，
“具有灵性”的智能行动
行为主义学派的理论基础
机器与生物在行为意义上的界限，或者说智能与否在行为意义上的界限，可概括为以下两点。● 机械或者机电系统中的反馈机制可以推广到人类和其他生物的范畴，可以用同一套理论去阐释动物和机器两大领域的信息、通信、控制和反馈问题。● 人类和其他生物的智能行为，也同样可以推广到机器，机械也可以实现智能行为。根据“感知（输入）—行动（输出）”方法，只要能够对环境的外部输入给予预期中的输出，这就是智能的体现，而无须去纠结是机器还是生物体。
他一直倡导研究“没有表达的智能”和“没有推理的智能”，认为“智能”就取决于“感知”和“行动”。
连接主义
符号主义
行为主义
连接主义：大脑，符号主义：心智，行为主义：行为
行为主义、控制论中还有一个必须提到的观点，认为人工智能是应该和人类智能一样，依靠进化获得，通过遗传过程的随机变异和环境对个体物竞天择的自然选择，逐代筛选出更快速、更健壮、更聪明的个体。
，图灵的设想中不可避免地涉及对机器的教育和教育效果的评估等问题，但以进化的观点来看，这两个问题其实都不存在，环境就是最好的老师，同时也是最好的裁决者，唯一要解决的问题就是如何才能做到繁衍生息。
但是今天大家所指的机器学习，只是根据已知数据形成的对未知数据的模拟，而并非人类意义上的主要以学到了知识和规律为目的学习，也许将后者称为“思考”，与“学习”区分开来会更为恰当
机器学习的两个主要发展方向与演绎、归纳相对应，演绎是根据一般规律推理出对个别事物的认知，而归纳则是根据具体事物的统计获得对于一般规律的认知，
横向方向上，理论上只要是可推理的，都可以通过逻辑演绎，采用符号、规则这样的工具，让机器最终能够完成这个推理
逻辑学家乔治·布尔（George Boole,1815—1864）便是辛顿的曾曾祖父
堂弟叫William Hinton，还有一个堂妹叫Joan Hinton，他们两位有自己的中文名字，一个叫韩丁，一个叫寒春，都是进过课本的中国人民老朋友
多级动态系统优化方法
第二点差异是多层感知机和现在大多数经典的神经网络所采用的激活函数都不相同，或者说，多层感知机中就没有非线性激活函数的概念。
加拿大高等研究院可能是那个时候唯一还在支持神经网络研究的机构了，现在看来这是一笔收益比例惊人的投资。
而休伯尔和威泽尔的目的却恰恰相反：他们希望证明人脑的认知是分层的。
第一个优势是表示能力。
而辛顿所提出的具备更多隐层的神经网络，其表示能力将会更强，具体表现为更多的隐层的网络可以用更少的神经元节点来表示更复杂的目标函数，这个结论他并没有给出严谨的数学证明，但这点毋容置疑，已是许多实验数据中统计总结出来的
外国网站asimovinstitute.org整理了一份当前24种常见的神经网络类型和它们的用途简介[插图]，笔者稍作整理，引用至本节供读者作为技术词典之用。
专用人工智能”（AppliedArtificial Intelligence）或者“弱人工智能”（WeakArtificial Intelligence
通用人工智能”（GeneralArtificial Intelligence）或者是“强人工智能”（StrongArtificial Intelligence
《星际争霸》最基本的策略表达的难度远远超过了围棋：什么时候应该发展经济、什么时候应该进攻。建筑建造在哪里、研发哪条科技线这些基本策略，与游戏目标的关系并不是固定的，而是动态的
策略与游戏的基础操作关系也是动态的，
约束限制少、达到目标的手段灵活开放的问题，通常都面临相类似的困境。在前面机器学习部分笔者曾经说过，如何把现实问题抽象描述成机器学习的问题，往往比如何解决机器学习问题更加重要。