論文の概要: MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

• arxiv url: http://arxiv.org/abs/2610.13594v1
• Date: Fri, 09 Oct 2026 13:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.603844
• Title: MENTOR: Learning from Failure with On-Policy Pedagogical Intervention
• Title（参考訳）: MENTOR: オンライン教育介入による失敗から学ぶ
• Abstract要約: ゼロ・リワード崩壊(Zero-Reward collapse)とは、突然のタスク困難の増加によって学習信号が消滅する訓練失敗である。 本稿では,実生活のメンターとして機能するマルチエージェントフレームワークであるMENTORを導入する。 MENTORは、リアルタイムで障害の根本原因を診断し、学習エージェントの次の試みを導くために、ターゲットとなる指導プロンプトを動的に生成する。
• 参考スコア（独自算出の注目度）: 14.166201474976349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning from Verifiable Rewards (RLVR) is a key driver for Large Reasoning Models, but it is vulnerable to "zero-reward collapse", a training failure where a sudden increase in task difficulty causes the learning signal to vanish. We argue that the conventional approach of discarding these failed trajectories is wasteful, as they contain valuable diagnostic information about the model's cognitive gaps, a bright side that can be leveraged for recovery. Existing solutions, however, often regress to static, "off-policy-style" interventions like pre-defined hint libraries or perform post-hoc refinement, failing to provide the adaptive, forward-looking guidance needed to escape the collapse. To address this, we propose a paradigm shift towards on-policy pedagogical intervention and introduce MENTOR, a multi-agent framework that acts as a live mentor. MENTOR diagnoses the root cause of failure in real-time and dynamically generates targeted, instructional prompts to guide the learning agent's next attempt. As a plug-and-play module, MENTOR integrates seamlessly into existing policy optimization pipelines like GRPO without modifying the training infrastructure. Extensive experiments on math and code generation show that MENTOR effectively mitigates zero-reward collapse, outperforming state-of-the-art baselines. Notably, it achieves massive average relative gains of up to 78.3% on Llama-3.2-3B-Instruct over its base model.
• Abstract（参考訳）: RLVR(Reinforcement Learning from Verifiable Rewards)は、大規模推論モデルのキードライバーであるが、突然のタスク困難の増加によって学習信号が消滅する「ゼロ・リワード崩壊」に弱い。 我々は,これらの障害を解消する従来のアプローチは,回復に活用できる明るい側面である認知的ギャップについての貴重な診断情報を含むため,無駄であると主張している。 しかし、既存のソリューションは、しばしば、事前定義されたヒントライブラリやポストホックリファインメントのような静的な「非政治的な」介入に回帰し、崩壊を避けるのに必要な適応的で前向きなガイダンスを提供しなかった。 そこで本稿では,実生活のメンターとして機能するマルチエージェントフレームワークであるmentORを導入する。 MENTORは、リアルタイムで障害の根本原因を診断し、学習エージェントの次の試みを導くために、ターゲットとなる指導プロンプトを動的に生成する。 プラグインモジュールとして、MENTORはトレーニングインフラストラクチャを変更することなく、GRPOのような既存のポリシ最適化パイプラインにシームレスに統合される。 数学とコード生成に関する大規模な実験は、MENTORがゼロ・リワード崩壊を効果的に軽減し、最先端のベースラインより優れていることを示している。 特に、Llama-3.2-3B-Instructのベースモデルよりも78.3%の大規模な相対的なゲインを達成している。

関連論文リスト

• Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding [33.075387337859276]
  オンライン強化学習は、大規模言語モデルの推論能力を向上させるための中心的なパラダイムとなっている。 既存のアプローチは、政治外のデモ、専門家のトレース、モデル生成ソリューションを取り入れることで、この問題を軽減する。 本稿では,Rationale-Guided Policy Optimization (RGPO)を紹介した。
  論文  参考訳（メタデータ） (2026-10-05T20:15:12Z)
• Post-Hoc Robustness for Model-Based Reinforcement Learning [1.4072254177584387]
  本研究は, 深部RL剤の加熱後強固化を推察時に導入する。 目標は、ニューラルネットワークのさらなるトレーニングを必要とせずに、堅牢性を改善することだ。
  論文  参考訳（メタデータ） (2026-06-02T11:43:13Z)
• PROWL: Prioritized Regret-Driven Optimization for World Model Learning [20.10187986360715]
  我々は,拡散に基づく世界モデルの高次軌道を公開するための政策を訓練する,KL制約の逆行カリキュラムを導入する。 提案手法をMineRLフレームワークで実装し, 既設のアウト・オブ・ディストリビューション・トラジェクトリで評価する。
  論文  参考訳（メタデータ） (2026-05-11T14:24:19Z)
• Native Reasoning Models: Training Language Models to Reason on Unverifiable Data [16.065264121785294]
  NRT(Native Reasoning Training)は、複雑な推論を育む新しいフレームワークである。 NRTは、推論プロセスを潜在変数として扱うことで、トレーニング問題を再構築する。 NRTは検証不要な手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-02-12T04:15:46Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• Beyond Reasoning Gains: Mitigating General Capabilities Forgetting in Large Reasoning Models [33.214586668992965]
  検証可能な報酬(RLVR)による強化学習は、数学的およびマルチモーダル推論において驚くべき成果を上げている。 汎用知識のための動的客観的リウェイトを用いたRECAP-aリプレイ戦略を提案する。 本手法はエンド・ツー・エンドであり,既存のRLVRパイプラインに適用可能である。
  論文  参考訳（メタデータ） (2025-10-24T19:08:48Z)
• Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning [49.290631188365786]
  Scaf-GRPOは、モデルの独立した学習が停滞した時に介入するトレーニングフレームワークである。 これはQwen2.5-Math-7Bモデルのパス@1スコアを、バニラGRPOベースラインよりも44.3%向上させる。 この結果から、我々のフレームワークは、それまで到達範囲を超えていた問題を解決するモデルの能力を解き放つ、堅牢で効果的な方法論を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-22T17:41:30Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning [125.61772424068903]
  視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。 本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-09T02:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。