陶哲轩揭示AI的基本原理：千亿模型只需两种基础数学
在每次你向ChatGPT提问时，它所消耗的电力足以让一个普通家庭使用大半天。然而，陶哲轩却指出，这一切的数学基础其实在高中课本中就见过，并非玩笑。这位菲尔兹奖得主深入剖析了大模型，得出的结论相当简单：其核心构成仅依赖于微积分和矩阵乘法。请耐心阅读，有些概念听起来似乎离我们很遥远，但今天的内容将帮助你在遇到“AI黑箱”或“神经网络”等术语时保持冷静。
简单来说，模型训练就像教小孩认识不同动物。例如，当小孩把猫认作狗时，你会纠正他：“这是猫。”模型的工作原理类似：它在产生一个答案后，会与自己先前的判断进行对比，分析差错的程度。微积分在此时发挥重要作用，其主要用途是计算各个参数在此次错误中的贡献。
设想一下，如果你有一千个旋钮，模型答案失误。微积分会帮助你分析，比如调整第三个旋钮左转半圈、将第七个旋钮右转一圈，将是下次正确的概率最高的选项。这一过程被称为梯度下降，虽然名称听起来复杂，实则是寻找最低点的过程，简化为“向下走”。
至于矩阵乘法，它的概念更加直接。想象模型为一个庞大的Excel表格，充满数字。当你输入一句话时，它也变为一系列数字。乘以参数矩阵后，经过层层计算，最终得到一个输出结果。
例如，当你询问“苹果手机好用吗”，模型将输入转化为数字向量，依次与多个参数矩阵相乘，经过几十到几百次的计算后，最后得出“苹果手机在系统和生态方面有优势”的结论。模型能够区分“苹果”既是水果也是公司的原因在于，矩阵乘法可以根据输入词与周围词的联系来判断含义。如果上下文是“手机”和“iOS”，其判断向科技领域倾斜；而如果是“甜”和“好吃”，则走向水果的表述。
虽然“注意力机制”听起来高深莫测，其实也仅仅是两个矩阵相乘，计算词与词之间的关联权重并进行加权求和。在此，你可能会疑问：就这些基本概念，为什么大模型会显得如此复杂？
答案并不在于数学本身，而是其规模。一个拥有千亿参数的大模型，在进行一次前向计算时，矩阵乘法的次数可达天文数字。训练如此模型需要不断地输入海量数据，反复计算梯度并调整参数，往往需要数百万甚至上亿次的循环。
你可以用纸笔模拟一个小模型，仅需三层矩阵，手动调整参数，制作一个简单的聊天机器人，整个过程一个周末便可完成。然而，要让这个模型在现实中发挥实用价值，参数数量、数据量以及计算能力都必须大幅度增加。只有当这三个条件达到一定程度，模型的效果才会显现出来。
这不是数学的胜利，而是工程的胜利。因此，那些将AI描述得离奇复杂的科普文章，或许是对AI本质的误解，或者故意让人觉得“只有专家才懂”。陶哲轩的核心观点明确：基础知识不过如此。微积分主要负责优化任务，而矩阵乘法则处理计算，两者搭配，一个负责方向调整，另一个输出结果。
在此，我们真正需要关注的不是AI是否有魔法，而是其计算过程中的可能错误以及错误发生的原因。了解这些后，如果还有人对你说“只有博士才能理解AI”，你可以自信地回应：从原理上看，高中的数学基础就已经足够。而真正的挑战在于规模和数据量，以及计算成本——这些都是财富和时间问题，而非智商的问题。
想要亲自体验一番吗？只需安装Python，尝试几个矩阵乘法，写一个简单的梯度下降调参示例，便可在一个下午看到模型从胡乱猜测到变得稍微准确的过程。在那一刻，你或许会与我有同样的感受，认为这所谓的人工智能其实是相当实在的。
