似此星辰

书名：Fundamentals of Deep Learning —— Designing Next-Generation MachineIntelligence Algorithms 作者：Nikhil Buduma， Nicholas Lacascio 出版社：Copyright © 2017 Nikhil Buduma. Published by O’Reilly Media, Inc. 出版时间：2017.06 ISBN：978-1-491-92561-4

这本真的挺适合入门。 基本的逻辑是： 计算机如何模拟人类神经→模型训练→TensorFlow工具→超梯度→CNN→嵌入与表征→LSTM→DNCs→强化学习。

这本在概念引入时举例都很生动。 比如讲人工智能学习过程时说明讲三岁小朋友是如何认识一只狗，其中关于纠错步骤的论述令人印象深刻。 不断重复试验排除错误答案，是学习的一个很重要的特点。吸收了越来越多例子之后答案就会变得越来越准确。 实际上我们并不知道大脑是如何完成图像识别工作的，看起来很自然而然的过程包含非常复杂的生物学原理。 神经元之间的链接，在神经传导过程中会根据使用频率，链接会增强或者削弱，也就是会出现传导权重的问题。在这一行为的模拟上，人工智能研究人员花费大量的精力，尽可能模仿这一生物过程。

此外，在具体概念论述上，梯度就从地理角度来理解，球滚下山沟的模型。 这个例子很生动说明如何基于动量做优化、寻找局部最小值的、运用线性插值与随机梯度下降等等。

Velocity-driven motion is desirable because it counteracts the effects of a wildly fluctuating gradient by smoothing the ball’s trajectory over its history. Velocity serves as a form of memory, and this allows us to more effectively accumulate movement in the direction of the minimum while canceling out oscillating accelerations in orthogonal directions.

所以后面傅里叶变换的引入也非常容易理解。

此外，关于决策的有限理性，提到了赫伯特西蒙的一些观点，补足了不少书中的逻辑缺失环节。 比如在解决过拟合问题时，如何去理解执行效率、模型复杂度和识别准确率的平衡。最终得出一个观点——优秀的改进不在于如何精雕细琢训练过程，绞尽脑汁设计参数，而在于发现更容易训练的架构。 我个人理解的这背后的逻辑在于，架构本身就是降维模仿，如果执行效率不佳或者识别准确度低，说明这个模仿失真，那么调整架构就是最核心最根本的。因为人的神经系统架构就容易训练的多（在某些领域，比如图像、声音，或者结合）。 虽然要注重降维操作，但是降维在这里不能单纯地理解为解耦。此外，信噪比的问题在具体问题处理中也非常关键。

抛开书的内容不谈，看完之后我有一种越来越奇怪的想法。 人，确切地说是人的肉体，总不至于就是个碳基计算机的吧？ 而灵魂这东西是高维生物，被降维打击之后囚禁在碳基计算机里面的，所以每天都像坐牢，因为原本就是在坐牢？ 这个碳基计算机比我们现在的微机系统甚至于量子计算系统的架构先进得多。 第一是可以打破单个计算机使用寿命的约束，可以通过遗传方式一键更新所有零部件。 其次是能与外界环境高度交互，获得一些日常更新资源。 第三就是零部件的更新有核心文件DNA的控制，更新换代相对稳定，偶尔会产生严重的系统bug但是多数时候能够实现代际平滑过渡。 缺点就是，内存利用率太低了，而且暂时好像也没找到快速提高内存利用率的方法。 有一部很老的美剧《kyle XY》谈过如何开发脑内存的问题，是通过胚胎体外发育（发育期会超过15年）来实现内存利用率提升，尤其是克服了数学能力差的问题。 这当然涉及伦理问题，但是，数学能力提上去了之后，现在的计算机脱机系统看起来完全没什么用了……也就互联讯通还有点用。

说到底，发现更容易训练的架构——当前能够被认识的最容易训练的架构是人脑。 我们对自己的了解太少了，还有强烈的伦理约束而已。

而且我突然发现，不止我一个人有这么个意思。 我马上准备看的这本书 Deep Learning with Graph-Structured Representations 开篇也是这么写的：

Millions of years of evolution in this structured and complex environment have shaped what has become the human mind: a highly optimized system that is adept at navigating this world, at achieving goals in it, and at adapting to the most unforeseeable changes this environment has to offer — in other words, humans are intelligent agents.