Deep learning with graph-structured representations 阅读小记

2023年3月30日

书名：Deep learning with graph-structured representations 作者：Thomas Norbert Kipf 类型：2020年博士论文学校：University of Amsterdam（荷兰阿姆斯特丹大学）这本在github项目上有收录。 https://github.com/DeepGraphLearning/LiteratureDL4Graph

这篇是GCN作者，Thomas Kipf（阿姆斯特丹大学博士生）的博士毕业论文。谈了谈图卷积神经网络等机制、应用，还有GCN、GAE这些。

ML解决额主要问题是如何归纳偏差，从已有数据泛化到新环境中。泛化能力是ML的核心评价因素之一。比如CNN能够实现夸图局部参数链接共享，学习部分特征，泛化成效就相当可观。而RNN使用了时间上的参数共享，在序列数据上泛化成效很不错。

这篇论文主要两部分：一是，将图结构数据应用到深度学习的任务上。二是，在数据没什么明确图结构的前提下，整一个模型来推断数据中隐藏的结构，然后结合模型具体讲。核心问题其实是五个： ●是否可以为图结构化数据集中的大规模节点分类任务开发并有效执行基于深度神经网络的模型? （GCN,R-GCN） ●图神经网络是否可用于解决链路预测和无监督节点表示学习? （图自编码器GAE和变分图自编码器VGAE） ●深度神经网络能否推断出实体之间的隐藏关系和相互作用，例如物理系统中的力? 神经关系推断模型NRI ●如何改进基于神经网络的模型，使这些模型可以在序列数据中推断事件结构和潜在程序描述? 复合模仿学习与执行(compositional imitation learning and execution,ComplL .E)。是在程序执行数据中发现任务分割和隐藏任务表示的无监督模型。 ●深度神经网络能否通过与环境交互来学习发现并建立对象，对象之间的关系以及动作效果的有效表示? C-SWM(contrastively-trained structured world model) 是一个使用图神经网络组件的深层神经网络，以无监督的方式发现对象表示并了解对象之间的物理交互。

印象比较深刻的是多层感知机的介绍（这个很基础、很核心），还有GNN的消息传递更新机制、图结构数据的节点分类、边关系的预测。不出意料的是损失函数构建也是论述重点，利用一个正样本和K个负样本进行训练，通过人为破坏正样本得到负样本。

和工作关系比较大的是GCN玉多关系图。将GCN的建模能力扩展到了多关系图，也就是节点和节点之间边可以有多种类型。多关系图最典型的例子就是知识图谱，但是目前所有的知识库都一个很致命的问题就是他们都是不完整的，有很多边关系和节点标签是缺失的，需要去补全。这个在很多专利的背景技术中都有提到，目前接触比较多的是医学领域的知识图谱专利。像知识图谱搜索引擎Magi，和一些中文知识图谱资源比如OpenKG.CN、cnSchema、Openbase，也都有听合作方提到过。读的时候我才注意到其实20年之后基本就不会有图谱构建相关的申请了，目前主要是在图谱应用阶段，会结合到NLP、模态拓展等等内容去做应用层面的适应性改进。而知识图谱查询工具方面，中文工具已经能够成熟完成实体命名、查询，关系查询和知识问答了。

关于关系抽取，其实无监督的实体关系抽取和开放式实体关系抽取我没太看懂。实践中倒是接触了很多具体场景Piece-Wise-CNN，或者 LSTM+ Attention。直观感受就是程序员真的很朴实，沟通技术的时候生怕我不懂，然而在我问一些关于创造性的直击灵魂的问题的时候，他们也会嘿嘿回答：确实没什么创造性，这个就是总结的开源的东西。

不得不说，想要捋清楚这些内容，我还是要看更多东西。 GPT4能教我吗？应该可以的吧。