自回归（AR）· 主流路线
GPT / Claude / DeepSeek 都是这个路线：像打字机一样，从左到右一个 token 一个 token 地串行吐出
扩散（Diffusion）· 另一条路
先给出整句的模糊轮廓，再多轮迭代同时修正所有位置——像照片从马赛克慢慢对焦
小实验：数据有限时，谁更耐「重复训练」？
蓝振忠引用 CMU 论文《Diffusion beats Autoregressive in Data-Constrained Settings》：拖动滑块看效果
模型在重复数据上的表现（越高越好）自回归扩散
为什么有这个差别？扩散模型每次随机遮住不同位置——同样一条数据，每一轮它学到的东西都不一样；而自回归模型总是按同样的顺序预测下一个 token，重复几轮之后就只剩「背答案」了。论文的数字：自回归重复约 4 遍收益就递减，扩散模型重复到 100 遍仍接近新数据的效果。这也是蓝振忠判断「数据有限时扩散模型智能上限更高」的依据。他推动的 LLaDA 已从 8B 做到千亿参数。