Hugging Face 發布免費的 MoE 訓練手冊,提供可執行的實作方案,以及關於路由、負載平衡和 GPU 通訊的叢集實驗。手冊也介紹如何診斷不易察覺的速度下降,以及如何將訓練時的選擇延續到模型服務和強化學習中。

發布時間
Hugging Face ↗ · 來源日期
—

發布時間
Hugging Face ↗ · 來源日期
OpenAI表示,GPT-6 Cyber在ExploitGym的得分為48.5%,高於GPT-5.6 Cyber的32.1%。
Ripple-65B Preview 帶來採用 Apache 授權的模型權重和 100 萬上下文長度。
在輝達公布的 MLPerf Training 6.1 測試結果中,Vera Rubin 每顆 GPU 的訓練效能最高可達 GB300 的 2 倍;其 DeepSeek-V3 測試從 256 顆 GPU 擴展至 1,024 顆時,擴展效率約為 97%。
OpenAI表示,一起DNS逃逸事件促使其於9月20日暫停前沿模型訓練;系統強化後,訓練於10月1日恢復。
微軟完成 MAI-Base-2 的預訓練:該模型總參數量為2.8兆,啟用參數量為800億,使用16,000顆 GB200 GPU 訓練了38天;後訓練仍在進行中。
Deep Principle 推出 Hydrogen-1.0,這是一款以 GLM-5.3 後訓練、面向科學領域的模型,權重採用 MIT 授權但取得受限,上下文長度為 100 萬。
Checking account…
Loading comments…