字节跳动豆包大模子团队开源MoE架构优化手艺，

IT之家 3 月 10 pg电子娱乐十大平台日新闻，字节跳动豆包年夜模子团队官宣开源一项针对 MoE（混杂专家模子）架构的要害优化技巧，可将年夜模子练习效力晋升 1.7 倍，本钱节俭 40%。据悉，该技巧叫做 COMET，已现实利用于字节的万卡集群练习，累计辅助节俭了数百万 GPU 小时练习算力。IT之家留神到，早前豆包团队宣布了新一代稀少架构 UltraMem，将模子推理本钱砍失落bet356亚洲版本体育 83%，此次，又开源了 COMET，向模子练习本钱脱手。现在，COMET 中心代码已开源，并打算兼容 Triton 等编译生态。论文链接：https://arxiv.org/pdf/2502.19811开源地点：https://github.com/bytedance/flux