380KB 的迷你语言模型,装进一张软盘跑在 486 上
开发者用 Turbo C 2.0 写了一个只有 367K 参数的 transformer,权重仅 380KB,能在 DOS 时代的 486DX 或奔腾 PC 上从一张软盘启动运行。
当黑客们不断把技术往极端边缘推进时,命名这件事往往会变得很别扭,LLM(大语言模型)就是典型例子。发展到某个阶段,“large(大)”这个词显然已经没法自圆其说了,但直接把 [WollyMonjac] 的 Tiny2.1 DOS PC Chatbot 叫做“语言模型”好像又少了点什么——也许“transformer”才是更准确的叫法。毕竟不管是大模型还是这种“没那么大”的模型,底下跑的都是同一套东西。
这个项目是用 Turbo C 2.0 写的,写代码的是“货真价实的大模型” Fable 5.2,训练它的则是 Opus 5.5。所以如果你把“机器开始造机器”列进了自己的末日预言清单,那这回可以打个勾了。这代(第二代)transformer 面向 486DX 或奔腾处理器,运行环境是 DOS,整套东西可以塞进一张符合时代背景的软盘里带进机器。
其中网络本身是 380KB 的 8 位权重,软盘剩下的空间用来放那个方便好用的交互界面。顾名思义,运行时需要 540KB 的空闲内存。这个 transformer 有 367K 参数,能装下 3500 条事实;除此之外,它就会以这类模型无论如何都甩不掉的那种毫无顾忌的劲头开始胡编乱造,跟模型大小没什么关系。
当然,这个项目与其说是实用工具,不如说是个能引发讨论的话题引子。不过如果你想用自己准备的 3500 条事实来重新训练它,训练脚本已经以 MIT 许可证发布在 GitHub 上。之前我们也见过有人在 486 上跑 LLM,但能够轻松地精确编排模型“知道”什么,这件事本身就带来了一些挺有意思的可能性。
讨论
0 条评论