論文の概要: MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement

• arxiv url: http://arxiv.org/abs/2610.11959v1
• Date: Thu, 08 Oct 2026 13:41:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.059678
• Title: MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement
• Title（参考訳）: MiMo-V2.6: 自己改善に向けた強化学習のスケールアップ
• Abstract要約: 本報告では,モデルインテリジェンスのフロンティアをRL計算のスケーリングによって推し進めるOmni-modalファミリであるMiMo-V2.6シリーズを紹介する。 我々はRL計算を3次元にスケールし、非同期トレーニングにより1,568個のサンプルと2.7-3.7Bトークンを最大1Mのコンテキスト長で消費する。 大規模なトレーニングを安定させるためには、MoEルータを凍結し、報酬ハッキングに対する多層防御を確立する。
• 参考スコア（独自算出の注目度）: 128.77839625189023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) is the central training paradigm for advancing large foundation models towards self-improvement. This report introduces the MiMo-V2.6 series, an omni-modal family that pushes the frontier of model intelligence by scaling RL compute. Prior to RL, we conduct mid-training on a broad multimodal corpus to provide ample exploration space, and build a solid infrastructure on the pretrained hybrid-SWA architecture to support subsequent scale-up. We scale RL compute along three dimensions: (1) larger batches and higher throughput, with an asynchronous training that consumes 1,568 samples and 2.7-3.7B tokens per step at context lengths of up to 1M; (2) more diverse and complex environments, spanning code, general, visual, and cyber domains under a mixture of agent harnesses; and (3) more grader compute, via groupwise agentic grading that yields more accurate reward signals for long-horizon tasks and steers the model towards shorter, more token-efficient solutions. To keep training stable at scale, we freeze the MoE router and establish a multi-layer defense against reward hacking. We further build infrastructure for mixed-task agentic RL, including a unified trajectory representation, high-concurrency multi-framework rollout, decoupled control and data planes, and training-inference consistency. We open-source the training dynamics, RL environments, and RL framework to facilitate reproduction and further research on scaled RL and model self-improvement.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模基盤モデルの自己改善に向けた中心的な訓練パラダイムである。 本報告では,モデルインテリジェンスのフロンティアをRL計算のスケーリングによって推し進めるOmni-modalファミリであるMiMo-V2.6シリーズを紹介する。 RLに先立ち、我々は広いマルチモーダルコーパスで訓練を行い、十分な探索空間を提供し、その後のスケールアップをサポートするために、事前訓練されたハイブリッド-SWAアーキテクチャ上にしっかりとしたインフラを構築した。 1)より大きなバッチと高いスループットで,1,568個のサンプルと2.7-3.7B個のトークンを最大1Mのコンテキスト長で処理する非同期トレーニング,(2)コード,一般,視覚,およびサイバードメインをエージェントハーネスの混合で分散する,より多種多様な複雑な環境,(3)グループワイドなエージェントグレーディングによるよりグレーダラー計算。 大規模なトレーニングを安定させるためには、MoEルータを凍結し、報酬ハッキングに対する多層防御を確立する。 我々はさらに、統合された軌道表現、高速マルチフレームロールアウト、分離された制御とデータプレーン、トレーニングと推論の整合性を含む混合タスクエージェントRLのインフラを構築する。 我々は、再現を容易にするためのトレーニングダイナミクス、RL環境、およびRLフレームワークをオープンソース化し、スケールしたRLとモデル自己改善についてさらに研究する。

関連論文リスト

• Demystifying Reinforcement Learning for Long-Horizon Tool-Using Agents: A Comprehensive Recipe [15.246778187028282]
  我々は,報酬形成,モデルスケーリング,データ構成,アルゴリズムの選択,環境安定性の5つの軸に沿ってエージェントRL設計空間を分解する。 蒸留法に基づいて,我々のRL学習モデルはTravelPlannerの最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-03-23T13:40:08Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• INTELLECT-3: Technical Report [5.3998786788822]
  INTELLECT-3は、大規模な強化学習で訓練されたMixture-of-Expertsモデル(12Bアクティブ)である。 私たちは、RLフレームワークを含む、モデルを作成するのに使用される完全なインフラストラクチャスタックとともに、モデルをオープンソースにしています。 大規模非同期強化学習のためのオープンフレームワークである Prime-rl を紹介する。
  論文  参考訳（メタデータ） (2025-12-18T03:57:01Z)
• Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models [49.911784762244814]
  TraceRLは拡散言語モデル(DLM)のための軌道対応強化学習フレームワークである 我々は最先端の拡散言語モデル、すなわち TraDo を導出する。 TraDo-8B-InstructはQwen2.5-7B-Instructで6.1%、Llama3.1-8B-Instructで51.3%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-09-08T17:58:06Z)
• OctoThinker: Mid-training Incentivizes Reinforcement Learning Scaling [29.818409458662344]
  LlamaやQwenのような異なる言語モデルファミリーは、強化学習(RL)による後訓練中に異なる行動を示す 本研究では,MegaMath-Web-Proのような高品質な数学的コーパスがベースモデルとRL性能の両方を著しく改善することを明らかにする。 2段階の中間訓練戦略であるStable-then-Decayを導入し、ベースモデルを学習率を一定とした200Bトークンでトレーニングし、その後CoTに着目した3つのブランチで20Bトークンを学習速度を劣化させた。
  論文  参考訳（メタデータ） (2025-06-25T14:58:13Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。