天才一秒记住【热天中文网】地址：https://www.rtzw.net
他说的搞理论也不是纯理论，而是那种只需要小型验证性实验的模型基础架构方面的研究，比如提出Transform的《AttentionIsAllYouNeed》，实验部分其实并不算多。
直接提出一种全新的技术模型架构？
说实话，这个问题他想过，而且时间很久，久到可以追溯到上辈子。
虽然上辈子周昀没这么聪明，但是当他第一次接触到Transform的时候就在想，他能不能研究出一种更加厉害的基础架构。
当然了，这在上辈子完全就是幻想。
所以平时有空的时候他就会抽出时间思考这个问题，所以邱彦他们经常能看到周昀独自一个人坐在位置上发呆，而且一坐就是几个小时。
但哪怕他觉得自己现在已经足够聪明，可是经过近半年的思考，他还是没能想到什么全新的架构，终究还是被束缚在Transform的框架之下。
不过他也没有气馁，毕竟这东西要是研究出来，说一句名垂千古都不为过。
更何况他还年轻。
既然新的架构不行，就只能从他熟悉的两个领域入手了。
他的手指一顿，突然想到了一个非常好的选题，如果能做出来，贡献也绝对是巨大的。
这个选题就是——多模态融合中的最优传输理论。
多模态学习的核心是如何将不同模态（视觉、语言）的特征空间对齐，当前的方法通常使用的是交叉注意力机制，甚至是更为简单的点积或余弦相似度。
而最优传输（OptimalTransport，OT）是一种数学理论，致力于寻找将质量或概率从一种构型转移到另一种构型的最有效方式，从而最小化给定的成本。
他的想法就是将对齐问题建模为OT问题，当然，这个OT问题肯定会非常难，因为每一个特征的维度都是非常高的，而多模态的特征又非常多。
所以他就联想到了人类的大脑，人脑在处理不同感官信息（视觉、听觉、触觉）时，似乎在底层存在着一种统一的“意识流”
，
各种模态的信息涌入后，被映射并在这个流中进行交换、融合和理解，比如闻着榴莲吃西瓜，就会产生一种通感。
而他要做的就是，如何将这个所谓的‘意识流’用数学的方法表现出来，他能想到的最为接近的理论就是OT理论。
至于为什么一定要将信息融合其实也很好理解，打个比方，你要向一个来自外星系、完全不懂地球文化的外星人解释什么是“苹果”
，
你不能只给它看一张苹果的图片，或者只给它一个苹果吃。
因为这些信息对它来说都是割裂的、无法理解的，所以我们需要将每种信息变成一种感觉，比如苹果可能是甜的，酸的，可能是绿的，红的......
而人在学习一个陌生的事物时候也是差不多的流程，比如神农尝百草，先了解这个草药不同的特性，然后再给它下一个定义。
同理，要让AI理解世界，这个步骤也是需要的，你得先让AI理解，苹果的一些基本特性，这也是很多大模型都在做的一个步骤。
接下来的一步便是信息融合，也就是告诉AI一个更加高级的统一语义空间，告诉它，虽然信息的模态不同，但他们描述的都是同一种东西，这就是融合的步骤。
这也是现代多模态大模型能同时处理不同模态信息的原理。
只不过在将不同模态信息纳入这个统一语义空间的语义空间时，现在的方法仍然有很多的不足。
这个问题也是真正实现AGI路上的一块绊脚石。
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！