Hugging Face 发布了一本免费的 MoE 训练手册,提供可运行的实践方案,以及关于路由、负载均衡和 GPU 通信的集群实验。手册还介绍了如何诊断不易察觉的速度下降,以及如何将训练中的选择延续到模型服务和强化学习中。

发布时间
Hugging Face ↗ · 来源日期
—

发布时间
Hugging Face ↗ · 来源日期
OpenAI称,GPT-6 Cyber在ExploitGym上的得分为48.5%,高于GPT-5.6 Cyber的32.1%。
Ripple-65B Preview 带来采用 Apache 许可证的模型权重和 100 万上下文长度。
在英伟达公布的 MLPerf Training 6.1 测试结果中,Vera Rubin 每颗 GPU 的训练性能最高可达 GB300 的 2 倍;其 DeepSeek-V3 测试从 256 颗 GPU 扩展至 1,024 颗时,扩展效率约为 97%。
OpenAI表示,一起DNS逃逸事件促使其于9月20日暂停前沿模型训练;系统加固后,训练于10月1日恢复。
微软完成 MAI-Base-2 的预训练:该模型总参数量为2.8万亿,激活参数量为800亿,使用16,000块 GB200 GPU 训练了38天;后训练仍在进行中。
Deep Principle 发布了 Hydrogen-1.0,这是一款面向科学领域、基于 GLM-5.3 后训练的模型,权重采用 MIT 许可证但获取受限,上下文长度为 100 万。
Checking account…
Loading comments…