大模型参数不是神经元数量,更接近“突触连接”的数量,可以理解为神经元之间连接的“权重值”。
简单说:
- 神经元:是计算节点,负责接收和处理信号。大模型里也有“神经元”,但结构很简单,就是一个数学函数。
- 参数:是连接神经元的“权重”和“偏置”,决定了信号传递的强弱。训练大模型的过程,就是不断调整这些数值,让模型输出更准确。
所以,当说一个模型有千亿或万亿参数时,指的是这些可调节的“连接强度”有那么多,而不是有那么多“神经元”。
打个比方,人脑大约有860亿个神经元,但它们之间形成了约100万亿个突触连接。如果把人脑比作一个大模型,那“突触”对应的才是“参数”。