字节跳动训练10万亿参数模型对标Anthropic

字节跳动正在训练一个可能接近Anthropic最先进Mythos系统规模的AI模型，据三名知情人士称，其参数最多可达10万亿，是Moonshot已发布的最大模型Kimi K3的三倍。模型目前处于预训练阶段，这一阶段通常持续三到六个月，之后若进展顺利将进行微调并发布，确切规模会在后期确定。Anthropic不公开其模型参数，但行业估计其Mythos 5约为8万亿参数，Fable 5约为5万亿。

字节跳动的模型训练采用更独立的路线，一年多来未涉及从其他实验室“蒸馏”模型的做法。其模型开发团队Seed由前Google DeepMind科学家吴永辉领导，约2000名成员分布在中国和海外，包括核心研究员、基础设施工程师、数据标注团队和翻译。字节跳动在AI领域投资激进，过去三年建设了数据中心网络，并加速云业务火山引擎。其视频生成模型SeeDance在业界领先，面向消费者的豆包月活跃用户达3.24亿。

近期中国模型在基准测试中表现强劲，Moonshot和阿里的模型在部分领域仅落后于Anthropic的Fable 5。字节跳动训练超大模型表明，中国实验室的雄心不仅在于追赶，还希望在最前沿的AI水平上超越美国同行。多名行业人士称，多家中国实验室正在训练与Fable 5规模相当的模型，而字节跳动在追求规模上最为激进。不过，该模型仍处于早期阶段，最终能否成功发布及实际能力如何尚不确定。