摘要
当前大语言模型的流行带火了一个概念——涌现。人们发现当人工智能参数足够多的时候，可以涌现出很多神奇的能力，比如逻辑推理，还有像人一样说话。其实涌现是复杂系统的重要特征，在我们的生活中无处不在。比如至今还没有被人工智能超越的人类大脑，为什么会有自我意识和自由意志？天空中的鸟群和地上的蚁群为什么可以自发地形成灵活而又有序的集群行为？作为观察者，我们常常惊讶于这些涌现现象，然而事实上，涌现也可以被科学量化和研究——机器观察者可以像人类一样识别涌现的发生。
今天跟大家聊聊我们课题组关于量化涌现的一项最新研究。
关键词：量化涌现，观察者，机器学习
来源：集智俱乐部
作者：杨明哲
编辑：任侠
审校：桑妮
论文题目：Finding emergence in data: causal emergence inspired dynamics learning
论文地址：https://academic.oup.com/nsr/advance-article/doi/10.1093/nsr/nwae279/7732052
论文作者：杨明哲，王志鹏，刘凯威，荣英淇，袁冰，张江
论文解读：“涌现”发现之旅：人工智能观察者与涌现的量化
1. 涌现如何量化？
看到天空中的云彩，我们很容易把它们看成各种图案，比如一个人，一只兔子，一台机器。同样地，观察蚁群这样的复杂系统，有的人在看几只蚂蚁之间的互动，而有人会把整个蚁群看成一个具备智能的有机体。
当我们观察一个系统时，下意识地会在多个尺度上观察。比如构成云彩的水分子在运动和碰撞，是在微观尺度；而我们看到云彩形成的“人脸”图案，则是在宏观尺度。发生涌现是说，宏观尺度上的因果效应大于微观尺度上的因果效应。
这里所说的因果效应强度是什么意思呢？当我们看一团气体分子的时候，固然可以用牛顿定律来描述每一个分子的运动轨迹，但这太复杂了，几乎是不可能的。而当我们可以用温度、压强等宏观量来描述系统时，就有了理想气体状态方程 PV=nRT 这样简洁明了的公式，这就是因果效应更强的尺度。因果效应最强的尺度是我们对一个系统建模研究的最佳尺度。
好比我们看云彩的时候，更愿意讨论云朵的形状是像人脸还是某个动物，而不会一直想着水分子在云彩中如何激烈碰撞，因为用关于整体形状的描述把云朵变幻的规律说的更明白。这一点对于每个人来说都是非常自然的。可究竟为什么人们如此自然地选择在这一尺度上观察，而不是那一个尺度上观察呢？比如我们在看一幅高清图片时，尽管你知道它是由像素组成的，但不会去想像素的事。而当我们不断让图像“放大”，直至每一个像素或其他构成图像的基本单元粒粒可数，你会开始犹豫，是应该把注意力放在一个个像素上，还是放在图画所承载的整体内容上？我们的大脑似乎总是在依据某种指标或目标对比不同的尺度，寻找着最佳观测尺度。
因果涌现理论便是试图用科学的定量框架来描述这种多尺度变化的过程。在因果涌现理论中，科学家们用有效信息这一定量指标来度量因果效应的强弱。有效信息作为一个专业术语，刻画的是一个系统动力学受到扰动后变化的波动大小以及确定性程度。我们在观察时，其实大脑中自动在“计算”究竟哪个尺度上有效信息更高，然后选择了对自己当前来说有效信息最高的尺度。现在想象观察云彩和蚂蚁的不是人类，而是机器人。“机器观察者”可以替代人类观察者，对系统是否发生涌现现象给出更加清晰、客观的判断。
2. 机器观察者如何识别涌现？
如何搭建这样一个机器观察者呢？人工智能与机器学习的发展，让我们自然意识到，可以用人工神经网络代替因果涌现理论中需要给定或拟合的函数，以宏观因果效应强度为优化目标搭建机器学习框架。其中用以度量因果效应强度的有效信息指标也可以在神经网络上计算。
回顾人类观察云彩的过程：原本万亿个水分子聚集在天空中的某一处位置上，光线所反映的信息经过我们眼睛和相关神经系统的转换和过滤，对应到我们过往经验中的某一种图案上，这时候我们会说云朵的形状看起来像是人脸或者猫啊狗啊。这一系列过程中我们有选择地损失了很多信息，可以说是一种粗粒化过程。粗粒化得到的“图案”随着时间流逝一直维持着稳定，这便是一个宏观动力学。
在搭建机器时，我们可以用一种神经网络“编码器”代替粗粒化过程，再用一个神经网络学习宏观动力学，于是机器观察者就被搭建起来了，我们把它叫做神经信息压缩器（Neural Information Squeezer，简称NIS）。这里编码器就好似机器观察者的眼睛，把观察到的万事万物粗粒化到一个虚拟的“脑海”里。而为了能训练好这个机器观察者，我们还需要把它脑海里“想”的那些事情解码出来，对现实世界做预测，以防止它“胡思乱想”。
那么对于机器观察者，我们如何保证，机器不是去计算每一个分子运动的微分方程，而是像人一样尽可能去寻找 PV=nRT 这样简洁的视角呢？机器如何寻找到最佳观测尺度，识别出涌现的发生呢？关键在于前面所说的，要最大化宏观动力学的有效信息。我们在初始机器学习框架的基础上，在宏观尺度上添加一个反向动力学的预测，不仅要让它从过去预测未来能预测准，同时从未来的状态反过来猜测过去的状态时，也能溯因比较准，以此来保证宏观动力学这个狭窄的信息瓶颈中，流通的都是有效信息。这个改进的框架我们称之为扩展版本的神经信息压缩器（NIS+），它可以通过训练得到有效信息最大的宏观动力学，从而客观地识别出涌现。
3. 机器观察者
是不是可以像人类一样识别出涌现？
有了更加完善的机器观察者，我们就可以拿来识别复杂系统的涌现了。那么机器观察者是不是可以像人类一样识别出涌现呢？我们给它输入了各式各样的多维时间序列，比如鸟群运动轨迹、脑电波序列等等，它会告诉你有没有发生涌现，涌现的程度有多大，以及涌现出来的斑图长什么样子。
1）预测鸟群的运动轨迹
在第一个实验中，我们让机器观察者预测鸟群的运动轨迹。我们在计算机上模拟鸟群，只需要设定好局部规则，让每只鸟尽可能和周围的鸟保持一定的距离，同时在方向上保持平行，就可以复现栩栩如生的鸟群和复杂的集群行为。在足够的训练之后，机器观察者可以预测鸟群的运动轨迹，同时在8维的尺度上观察到最大程度的因果涌现。这是因为每个鸟群有平均的速度和位置两个属性，而每个属性有两个维度，所以两个鸟群一共有8个维度。并且我们画出了宏微观变量关系对应图，证明机器真的是如我们所说的那样在做粗粒化。
2）捕捉生命游戏涌现出的斑图
再来看另一个好玩的模拟实验，生命游戏。这是一个方格世界，每一个方格是一个元胞，都有生或死两种状态，而且局部作用规则非常简单。每一个元胞会因为周围过于拥挤或孤独而死亡，也会因为活细胞比例合适的环境而获得新生。当我们站在宏观的角度去看整个生命游戏世界，会发现很多有意思的斑图，比如滑翔机、飞船、信号灯等等。这都是我们人类给起的名字啦，而机器观察者也可以捕捉到这些有意思的图案，呈现在宏观尺度上。
3）识别大脑动力学
最后，我们来让机器观察者进行实战，在真实的大脑核磁共振数据上识别涌现和大脑动力学。数据来自800多个被试者在观看电影时收集的脑核磁共振数据，同时还有静息态数据做对比，也就是被试者在什么都不做的情况下收集的数据。结果发现，机器观察者从数据中识别出的涌现的宏观动力学，主要反映的是最为活跃的大脑视觉区域。虽然目前没有涉及到意识的问题，但以后我们可以发展这套机器学习框架，让它观察意识产生的脑电数据或行为数据，来识别对于意识产生最关键的区域或某种模式。
大量水分子聚集而成的云彩是什么形状？人脑中数以亿计的神经元如何相互作用涌现出意识？我们该如何定量地判断涌现何时发生？当大家跟着走完这探索历程，会发现观察者的主观解读是非常重要的一环。而机器观察者可以代替人类观察者，在与所观察的系统进行互动时，更加清晰、客观地去研究涌现问题。或许在以后，这将是对复杂问题研究的新范式。
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
https://wx.zsxq.com/group/454854145828
截止到3月31日 ”未来知识库”精选的百部前沿科技趋势报告
（加入未来知识库，全部资料免费阅读和下载）
上下滑动查看更多
