似此星辰

书名：Deep Learning：Adaptive Computation and Machine Learning series 作者：Ian Goodfellow，Yoshua Bengio，Aaron Courville. 出版社：MIT Press， 出版时间：2016-11-11 ISBN: 9780262035613

这本是Yoshua Bengio和GAN之父Ian Goodfellow等人合著。 看这本和看Value Investing、乔老板那本财管的感觉是一样的，看完真正记得的内容不多。但是提到什么东西不清楚的话分分钟去里面翻出来——工具书预定。

首先看ML基础就有一种梦回线代坐牢可的感觉。 看到池化时我感觉我还能坚持一下，看到长短期记忆和其他门控RNN的时候我真的忍不住冲出去吞了一大杯冷水才缓过来没吐。 但是看到后面计算机视觉、自然语言处理、语音学习的时候，整个人已经神清气爽了，感觉有什么东西被捅了一棍子，通了。 令我比较震撼的是，这本16年出版的经典中的经典教材，在最后一章论述了深度生成模型，讨论了包括各种玻尔兹曼机、深度信念网络、通过随机操作的反向传播、有向生成网络、生成随机网络等等。 这部分的写法类似文献综述。当然在这个前沿领域，7年前用这种写法完全没有问题。事实这证明作者们当年对于内容生成的预估有很大程度上都成为了应用级别的现实。

不过有一个问题值得注意，至少我觉得它一个不容忽视——新的血汗工厂出现了，数据标注血汗工厂。 GPT自己回答，4.0相较于3.5在训练规模上进行了扩充，GPT-4模型的训练规模远大于GPT-3.5模型，模型参数多达5万亿个。 这种级别的训练是GPT-4能够处理更多、更复杂的自然语言任务，以及更精确的情感分析和语义理解等任务的基础。 于是我简单搜了一下几个招聘应用，发现在国内三四线城市，这种基于AI数据标注的小型“网络科技”公司遍地开花。甚至不止一个城市建设科技园区批量引入这些企业。工资普遍都在城市最低工资标准之上1000左右徘徊，这是很难活下去的收入线。 我不太清楚这些小城市做这类规划的时候到底做没做相应的背调，但是浪潮来了就是来了。就像前几天大家议论的，复旦也有人需要6000/月的工作，谁又知道三四线小城市有没有需要3000/月数据标注工作的年轻人呢？