Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026

训练算力节省1/3。    作者丨张璐    编辑丨张驰                                                                                                       增加参数、扩展专家数量、投入更多训练数据，是大模型提升能力的常见路径。但对于算力和数据资源有限的高校团队，沿着这些方向持续扩大规模并不容易。在现有 Transformer 架构之上寻找其他扩展维度，是上海交通大学人工智能学院教授严骏驰，在前不久的CNCC 2026演讲中分享的研究思路。在题为《大模型新架构探索：JTok & xHC》的报告中，严骏驰介绍了两项工作：JTok 为 token 引入可学习的参数表，通过查表和逐元素运算调制模型更新；xHC 则扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。两项研究都关注一个问题：新增容量能否以较低的额外计算代价，带来持续的训练收益。严骏驰也讨论了这些方法的实际限制：小规模实验中的优势能否在更大规模上保持，训练算力的节省如何与推理延迟、访存开销相权衡，以及系统工程如何影响架构创新的效果。以下为演讲整理。雷峰网01在现有架构上，寻找新的扩展维度今天分享的是我们在大模型新架构方面的一些探索。把它称为“新架构”，可能有一点夸大，实际上主要是在现有架构上做调整和改进。为什么没有直接去做颠覆性的架构？一方面，我们没有那么多算力和能力；另一方面，即使把架构大幅修改，也未必能在工业界真正用起来。现在从底层硬件、驱动、算子，到上层模型软件，整个生态都沿着 Transformer 展开。改动太大，生态适配就会面临困难。所以，