論文の概要: Kimi K2: Open Agentic Intelligence
- arxiv url: http://arxiv.org/abs/2507.20534v1
- Date: Mon, 28 Jul 2025 05:35:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:57.873178
- Title: Kimi K2: Open Agentic Intelligence
- Title（参考訳）: Kimi K2: オープンエージェントインテリジェンス
- Abstract要約: Kimi K2は32億の活性化パラメータと1兆の総パラメータを持つ大きな言語モデルである。
MuonClipに基づいて、K2は15.5兆のトークンで事前訓練され、損失のスパイクはゼロだった。
Kimi K2は、オープンソース非思考モデルの間で最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 118.78600121345099
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce Kimi K2, a Mixture-of-Experts (MoE) large language model with 32 billion activated parameters and 1 trillion total parameters. We propose the MuonClip optimizer, which improves upon Muon with a novel QK-clip technique to address training instability while enjoying the advanced token efficiency of Muon. Based on MuonClip, K2 was pre-trained on 15.5 trillion tokens with zero loss spike. During post-training, K2 undergoes a multi-stage post-training process, highlighted by a large-scale agentic data synthesis pipeline and a joint reinforcement learning (RL) stage, where the model improves its capabilities through interactions with real and synthetic environments. Kimi K2 achieves state-of-the-art performance among open-source non-thinking models, with strengths in agentic capabilities. Notably, K2 obtains 66.1 on Tau2-Bench, 76.5 on ACEBench (En), 65.8 on SWE-Bench Verified, and 47.3 on SWE-Bench Multilingual -- surpassing most open and closed-sourced baselines in non-thinking settings. It also exhibits strong capabilities in coding, mathematics, and reasoning tasks, with a score of 53.7 on LiveCodeBench v6, 49.5 on AIME 2025, 75.1 on GPQA-Diamond, and 27.1 on OJBench, all without extended thinking. These results position Kimi K2 as one of the most capable open-source large language models to date, particularly in software engineering and agentic tasks. We release our base and post-trained model checkpoints to facilitate future research and applications of agentic intelligence.
- Abstract（参考訳）: 我々は32億の活性化パラメータと1兆の総パラメータを持つMixture-of-Experts(MoE)大言語モデルであるKimi K2を紹介する。
我々は,Muonの高度なトークン効率を享受しながら,トレーニング不安定性に対処するために,新しいQK-Clip技術によりMuonを改善するMuonClipオプティマイザを提案する。
MuonClipに基づいて、K2は15.5兆のトークンで事前訓練され、損失のスパイクはゼロだった。
ポストトレーニング中、K2は大規模エージェントデータ合成パイプラインと共同強化学習(RL)ステージによって強調され、実環境と合成環境との相互作用を通じてその能力を向上するマルチステージ後トレーニングプロセスを実行する。
Kimi K2は、エージェント能力の強いオープンソース非思考モデルの間で、最先端のパフォーマンスを実現している。
特に、K2はTau2-Benchで66.1、ACEBench (En)で76.5、SWE-Bench Verifiedで65.8、SWE-Bench Multilingualで47.3を取得している。
LiveCodeBench v6では53.7点、AIME 2025では49.5点、GPQA-ダイアモンドでは75.1点、OJBenchでは27.1点と、コーディング、数学、推論タスクの強力な能力を示している。
これらの結果は、Kimi K2を、特にソフトウェア工学やエージェントタスクにおいて、これまでで最も有能なオープンソースの大規模言語モデルの一つと位置づけている。
エージェント・インテリジェンスの将来の研究や応用を促進するため、ベースおよびポストトレーニングされたモデルチェックポイントをリリースする。
関連論文リスト
- A.X K2 Technical Report [16.892621349469206]
我々は、強調アプリケーションのための高性能基盤として、スクラッチから訓練された言語モデルであるA.X K2を紹介する。
A.X K2はA.X K1を30ポイント以上改善している。
A.X K2は強力なオープンウェイトベースラインに対して競争力があり、数学や韓国語のベンチマークでそれらをマッチングまたは超える。
論文 参考訳（メタデータ） (2026-08-31T03:04:30Z) - Kimi K3: Open Frontier Intelligence [244.27422883681837]
我々はKimi K3を紹介した。これは2.8TパラメータMixture-of-Expertsモデルで、104億のアクティベートパラメータ、ネイティブビジョン機能、100万のコンテキストウィンドウを備えている。
Kimi K3 は Kimi Delta Attention and Attention Residuals 上に構築されている。
我々は,Kimi K3が長期コーディング,エージェント,知識,推論,ビジョンタスクにおいて,フロンティアレベルのパフォーマンスを実現することを示す。
論文 参考訳（メタデータ） (2026-07-27T16:49:54Z) - AgentOmnia: Scaling Agentic Models for Full-Scenario Applications [36.656762500581216]
大規模言語モデルエージェントは急速に進歩しているが、ドメイン、機能、タスクの難しさ、インタラクション設定にはまだ進歩が断片化されている。
これはTo-Consumer(ToC)、To-Business(ToB)、To-Employee(ToE)アプリケーション間でタスク空間の定義、データ合成、ポストトレーニング、評価、改善を調整するフレームワークです。
論文 参考訳（メタデータ） (2026-07-25T09:58:24Z) - Mellum2 Technical Report [1.1239988514721222]
Mellum 2は、ソフトウェア工学に特化した汎用言語モデルである。
完成中心の4B高密度メルロンモデルの後継である。
Mellum 2 は 4B-14B の範囲でオープンウェイトベースラインと競合し、2.5B の高密度モデルのトーケン毎の計算で実行される。
論文 参考訳（メタデータ） (2026-05-29T13:01:11Z) - Yet Even Less Is Even Better For Agentic, Reasoning, and Coding LLMs [28.672417618778976]
効果的なソフトウェアエンジニアリングエージェントの訓練には、大量のタスク固有の軌道が必要である。
より少ないが高品質な訓練軌道で優れたエージェント能力を実現するエンドツーエンドのトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-01T12:33:25Z) - Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters [169.7981969517903]
Step 3.5 Flashは、フロンティアレベルのエージェントインテリジェンスと計算効率を橋渡しする。
エージェントを構築する上で最も重要なもの、すなわち、シャープな推論と高速で信頼性の高い実行に重点を置いています。
論文 参考訳（メタデータ） (2026-02-11T07:53:51Z) - Kimi K2.5: Visual Agentic Intelligence [236.05020914831047]
Kimi K2.5は、汎用エージェントインテリジェンスを促進するために設計されたオープンソースのマルチモーダルエージェントモデルである。
このマルチモーダル基盤の上に構築されたK2.5では、セルフ指向の並列エージェントオーケストレーションフレームワークであるAgent Swarmが導入されている。
論文 参考訳（メタデータ） (2026-02-02T16:17:38Z) - Pushing on Multilingual Reasoning Models with Language-Mixed Chain-of-Thought [23.847410628315544]
英語とターゲット言語を切り替える推論スキーマである**Language-Mixed CoT**を紹介する。
我々は6つのファミリー(Qwen2.5、Llama-3.1、Gemma-3など)でNinveモデル(4B-35B)を訓練する。
我々のベストモデル**KO-REAson-35B*は、平均スコア(64.0 pm 25)で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-10-05T14:39:41Z) - GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [194.64264251080454]
GLM-4.5はオープンソースのMixture-of-Experts(MoE)大言語モデルであり,総パラメータは355B,アクティベートパラメータは32Bである。
23Tトークンのマルチステージトレーニングと、エキスパートモデルのイテレーションと強化学習による総合的なポストトレーニングを通じて、GLM-4.5はエージェント、推論、コーディングタスクにわたって強力なパフォーマンスを実現している。
GLM-4.5(355Bパラメータ)とGLM-4.5-Air(106Bパラメータ)をそれぞれリリースし、推論とエージェントAIシステムの研究を進めた。
論文 参考訳（メタデータ） (2025-08-08T17:21:06Z) - Skywork Open Reasoner 1 Technical Report [51.403686909760914]
提案するSkywork-OR1は,長期チェーン・オブ・ソート(CoT)モデルのための,効果的かつスケーラブルな強化学習(RL)実装である。
DeepSeek-R1-Distillモデルシリーズをベースとして、我々のRLアプローチは顕著なパフォーマンス向上を実現している。
我々のSkywork-OR1-32Bモデルは、AIME24とAIME25ベンチマークでDeepSeek-R1とQwen3-32Bを上回っています。
論文 参考訳（メタデータ） (2025-05-28T12:56:04Z) - MiMo: Unlocking the Reasoning Potential of Language Model -- From Pretraining to Posttraining [60.02032710118597]
提案するMiMo-7Bは,学習前の段階と学習後の段階にまたがって最適化された,推論タスクのための大規模言語モデルである。
MiMo-7B-Baseは25兆のトークンで事前訓練されており、性能の向上と推論速度の高速化を目標としている。
最後のRLチューニングモデルであるMiMo-7B-RLは、OpenAI o1-miniの性能を上回り、数学、コード、一般的な推論タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-12T14:30:11Z) - Muon is Scalable for LLM Training [50.68746986439438]
MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。
我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。
メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
論文 参考訳（メタデータ） (2025-02-24T09:12:29Z) - Kimi k1.5: Scaling Reinforcement Learning with LLMs [84.95584393629998]
我々は、強化学習で訓練された最新のマルチモーダル言語モデル、Kimi k1.5の訓練実践について報告する。
長いコンテキストスケーリングと改善されたポリシー最適化手法が、我々のアプローチの鍵となる要素である。
本システムは,複数のベンチマークやモダリティに対して,最先端の推論性能を実現する。
論文 参考訳（メタデータ） (2025-01-22T02:48:14Z) - Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。
既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。
この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-04T02:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。