Fugu-MT 論文翻訳(概要): Kimi K3: Open Frontier Intelligence

論文の概要: Kimi K3: Open Frontier Intelligence

arxiv url: http://arxiv.org/abs/2607.24653v1
Date: Mon, 27 Jul 2026 16:49:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:15.516372
Title: Kimi K3: Open Frontier Intelligence
Title（参考訳）: Kimi K3: オープンフロンティアインテリジェンス
Abstract要約: 我々はKimi K3を紹介した。これは2.8TパラメータMixture-of-Expertsモデルで、104億のアクティベートパラメータ、ネイティブビジョン機能、100万のコンテキストウィンドウを備えている。 Kimi K3 は Kimi Delta Attention and Attention Residuals 上に構築されている。我々は,Kimi K3が長期コーディング,エージェント,知識,推論,ビジョンタスクにおいて,フロンティアレベルのパフォーマンスを実現することを示す。
参考スコア（独自算出の注目度）: 244.27422883681837
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We introduce Kimi K3, a 2.8T parameter Mixture-of-Experts model with 104 billion activated parameters, native vision capabilities, and a 1-million-token context window. Kimi K3 is built on Kimi Delta Attention and Attention Residuals, which improve information flow across sequence length and model depth. Together with Stable LatentMoE, which effectively activates 16 of 896 routed experts per token, and refined training and data recipes, these advances yield an approximately 2.5x improvement in overall scaling efficiency over Kimi K2. Post-training highlights reinforcement learning across general, agentic, and coding domains and multiple reasoning-effort levels, enabling compositional generalization and robust long-horizon execution. At 2.8T scale, Kimi K3 is supported by infrastructure advances in multiple areas: algorithm-system co-design for KDA, perfectly balanced expert-parallel training with efficient memory management, million-token agentic RL with persistent rollout and sandbox states, and deployment innovations. Extensive evaluations show that Kimi K3 achieves frontier-level performance across long-horizon coding, agentic, knowledge, reasoning, and vision tasks. While its overall performance still trails the most powerful proprietary models, namely Claude Fable 5 and GPT-5.6 Sol, Kimi K3 consistently outperforms other open and proprietary models evaluated in our suite. We release the full Kimi K3 model weights to facilitate future research and accelerate the broader deployment and adoption of frontier intelligence.
Abstract（参考訳）: 我々はKimi K3を紹介した。これは2.8TパラメータMixture-of-Expertsモデルで、104億のアクティベートパラメータ、ネイティブビジョン機能、100万のコンテキストウィンドウを備えている。 Kimi K3 は Kimi Delta Attention and Attention Residuals 上に構築されている。トークン当たり896のルートの専門家16人を効果的に活性化するStable LatentMoEと、トレーニングとデータレシピの洗練とともに、これらの進歩により、Kim K2の全体的なスケーリング効率が約2.5倍向上した。ポストトレーニングでは、汎用的、エージェント的、コーディング的な領域にまたがる強化学習と、複数の推論-実行レベルを強調し、構成的一般化と堅牢なロングホライゾン実行を可能にしている。 KDAのアルゴリズムシステムの共同設計、効率的なメモリ管理を備えた完全にバランスのとれたエキスパート並列トレーニング、永続的なロールアウトとサンドボックス状態を備えた数百万のエージェントRL、デプロイメントイノベーションである。広範囲な評価の結果,Kimi K3は長期コーディング,エージェント,知識,推論,ビジョンタスクにおいて,フロンティアレベルのパフォーマンスを実現している。全体的な性能は依然として最も強力なプロプライエタリモデル、すなわちClaude Fable 5 と GPT-5.6 Solを踏襲しているが、Kimi K3 は我々のスイートで評価された他のオープンおよびプロプライエタリモデルより一貫して優れている。私たちは、将来の研究を促進し、フロンティアインテリジェンスの拡張と導入を加速するために、完全なKimi K3モデルウェイトをリリースします。

論文の概要: Kimi K3: Open Frontier Intelligence

関連論文リスト