437. 傲慢的代价（1/2）
孟繁岐并不是第一次听说eeeek的名字，虽然此前在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的模型，即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，的价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，eeeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，8的成功实现。
孟繁岐有些不相信这个事实。
半精度和8是他一直在大力推动的事情，而现在，反而成为了首个在超大规模模型上证明了8训练完全可行的公司。
孟繁岐沉着脸，翻阅着的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了8的量化，在什么步骤应该转回16，又在哪里应该使用全精度32计算，标注十分详细。
向量层、输出层、o门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用8执行。
针对前向反向采用8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于 8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到 8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分8，部分16/32。仅仅如此是不够的。
最终采用的方案是在核心算子内部操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在8问题上，孟繁岐与是一致的。
在稀疏这一方向上，孟繁岐选择了细粒度，矩阵层面的稀疏。
则选择了通道层面的o，混合专家模型。
简单来说，选择把模型拆分为16/32个专家，就像是把一块蛋糕均分切成16/32块。
每一块都是不同的味道，每一个专家更加专注于不同的知识。
根据具体的情况，会有一个门控系统，来决定哪些专家参与计算。
而孟繁岐的野心更甚，他想要从根本上将整个模型在原子级别拆分，细粒度地对所有权重进行大刀阔斧地裁减，
本章未完，请翻下一页继续阅读......... 请记住【重生之AI教父】最新更新章节〖437. 傲慢的代价〗地址https://m.zuimeng.net/466/466883/461.html