論文の概要: RAGEN-2: Reasoning Collapse in Agentic RL

• arxiv url: http://arxiv.org/abs/2604.06268v1
• Date: Tue, 07 Apr 2026 04:29:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.135068
• Title: RAGEN-2: Reasoning Collapse in Agentic RL
• Title（参考訳）: RAGEN-2: エージェントRLの崩壊を補う
• Authors: Zihan Wang, Chi Gui, Xing Jin, Qineng Wang, Licheng Liu, Kangrui Wang, Shiqi Chen, Linjie Li, Zhengyuan Yang, Pingyue Zhang, Yiping Lu, Jiajun Wu, Li Fei-Fei, Lijuan Wang, Yejin Choi, Manling Li,
• Abstract要約: RAGEN-2では、安定なエントロピーであっても、モデルは多様に見えるが入力に依存しない固定テンプレートに依存することができる。 推論品質をインテリアインプットの多様性(エントロピー)とクロスインプットの区別可能性(Mutual Information, MI)に分解する。 様々なタスクにおいて、相互情報はエントロピーよりも最終的なパフォーマンスと非常に強く関連しているため、推論品質のより信頼性の高いプロキシとなります。
• 参考スコア（独自算出の注目度）: 123.40730283427136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: RL training of multi-turn LLM agents is inherently unstable, and reasoning quality directly determines task performance. Entropy is widely used to track reasoning stability. However, entropy only measures diversity within the same input, and cannot tell whether reasoning actually responds to different inputs. In RAGEN-2, we find that even with stable entropy, models can rely on fixed templates that look diverse but are input-agnostic. We call this template collapse, a failure mode invisible to entropy and all existing metrics. To diagnose this failure, we decompose reasoning quality into within-input diversity (Entropy) and cross-input distinguishability (Mutual Information, MI), and introduce a family of mutual information proxies for online diagnosis. Across diverse tasks, mutual information correlates with final performance much more strongly than entropy, making it a more reliable proxy for reasoning quality. We further explain template collapse with a signal-to-noise ratio (SNR) mechanism. Low reward variance weakens task gradients, letting regularization terms dominate and erase cross-input reasoning differences. To address this, we propose SNR-Aware Filtering to select high-signal prompts per iteration using reward variance as a lightweight proxy. Across planning, math reasoning, web navigation, and code execution, the method consistently improves both input dependence and task performance.
• Abstract（参考訳）: マルチターンLDMエージェントのRLトレーニングは本質的に不安定であり、推論品質はタスク性能を直接決定する。 エントロピーは推論安定性を追跡するために広く使われている。 しかし、エントロピーは同じ入力内でのみ多様性を測定し、推論が実際に異なる入力に反応するかどうかを判断できない。 RAGEN-2では、安定なエントロピーであっても、モデルは多様に見えるが入力に依存しない固定テンプレートに依存することができる。 このテンプレート崩壊は、エントロピーや既存のメトリクスに見えない障害モードです。 この失敗を診断するために、我々は推論品質をインテリアインプットの多様性(エントロピー)とクロスインプットの区別可能性(Mutual Information, MI)に分解し、オンライン診断のための相互情報プロキシのファミリーを導入する。 様々なタスクにおいて、相互情報はエントロピーよりも最終的なパフォーマンスと非常に強く関連しているため、推論品質のより信頼性の高いプロキシとなります。 さらに,SNR(Signal-to-Noise ratio)機構を用いてテンプレート崩壊を説明する。 低報酬分散はタスク勾配を弱め、正規化項が支配的となり、クロスインプット推論の違いを消去する。 そこで我々はSNR-Aware Filteringを提案し、報酬分散を軽量なプロキシとして利用して、1イテレーションあたりの高信号プロンプトを選択する。 計画、数学の推論、Webナビゲーション、コード実行全般において、このメソッドは入力依存とタスクパフォーマンスの両方を一貫して改善する。

関連論文リスト

• Agentic Test-Time Scaling for WebAgents [65.5178428849495]
  CATTS(Confidence-Aware Test-Time Scaling)を提案する。 CATTSは、WebArena-LiteとGoBrowseのパフォーマンスをReact上で最大9.1%改善し、均一なスケーリングよりも最大2.3倍少ないトークンを使用する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:30Z)
• Failure Modes in Multi-Hop QA: The Weakest Link Law and the Recognition Bottleneck [38.430205063059724]
  本稿では,MFAI(Multi-Focus Attention Instruction)を導入した。 システム2推論を利用して、必要な情報を効果的に見つけ、統合する「思考」モデルを実証する。
  論文  参考訳（メタデータ） (2026-01-18T17:16:04Z)
• Differential Smoothing Mitigates Sharpening and Improves LLM Reasoning [23.202550214006237]
  大規模言語モデルの強化学習(RL)による微調整は,多種多様性の欠如による多種多様性の崩壊につながることが広く認識されている。 我々は、バニラRLと広く使われているエントロピーベースの言語を上回り、正確性と多様性の両方を確実に改善する原則的手法、テキスト微分スムーシングを導入する。
  論文  参考訳（メタデータ） (2025-11-25T05:28:55Z)
• Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
  マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。 現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。 A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
  論文  参考訳（メタデータ） (2025-09-12T16:51:15Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
  テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。 これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。 両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T10:03:00Z)
• Inv-Entropy: A Fully Probabilistic Framework for Uncertainty Quantification in Language Models [12.743668975795144]
  大規模言語モデル(LLM)は自然言語処理を変換しているが、信頼性の高いデプロイメントには有効な不確実性定量化(UQ)が必要である。 既存のUQ手法はしばしば確率論的解釈を欠いている。 本稿では, 与えられた出力に条件付き入力空間の多様性を評価することによって不確実性を定量的に評価する, 逆モデルに基づく完全確率的フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-11T13:02:17Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。