論文の概要: Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It

• arxiv url: http://arxiv.org/abs/2606.26027v1
• Date: Wed, 24 Jun 2026 16:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.398765
• Title: Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It
• Title（参考訳）: マルチステップツールを用いた強化学習の失敗と監視信号の修正方法
• Abstract要約: ツールの使用により、大きな言語モデルで複雑なタスクを実行できる。 近年のエージェント強化学習法では, モデル能力の向上が期待できる。 いくつかのモデルは破滅的な崩壊を示し、パフォーマンスが突然低下し、ツール呼び出し構造が失敗する。
• 参考スコア（独自算出の注目度）: 23.538941671680806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool use enables large language models (LLMs) to perform complex tasks, and recent agentic reinforcement learning (RL) methods show promise for enhancing model capabilities. However, RL alone often leads to instability or limited gains in tool-use tasks. In our experiments, some models exhibit catastrophic collapse, where performance abruptly drops and tool-invocation structures fail. The analysis reveals that these failures stem from unexpected probability spikes in specific control tokens, disrupting structured execution, yet the underlying tool-use capability remains intact, merely obscured by specific formats. To address this, we systematically investigate a diverse set of supervisory signals, including off-policy supervision, hint-based guidance, erroneous example supervision, and others, applied under both synchronous and interleaved training schemes. We find that interleaving supervised fine-tuning (SFT) with RL substantially improves stability, but exhibits degraded performance under format and content out-of-distribution (OOD) evaluation. We also analyze the impact of learning rates and generalization across settings. These results highlight the importance of understanding RL failures and demonstrate how diverse supervisory signals can guide exploratory learning, enabling robust training of LLMs for complex, multi-step tool-use tasks. Our Code is available at https://github.com/hypasd-art/Tool-RL-Box.
• Abstract（参考訳）: ツールの使用により、大規模言語モデル(LLM)が複雑なタスクを実行できるようになり、最近のエージェント強化学習(RL)手法では、モデル機能の向上が期待できる。 しかし、RLだけでは、ツール使用タスクの不安定性や制限されたゲインにつながることが多い。 実験では、いくつかのモデルが破滅的な崩壊を示し、パフォーマンスが突然低下し、ツール呼び出し構造が失敗する。 この分析によると、これらの障害は特定の制御トークンの予期せぬ確率スパイクから発生し、構造化された実行を妨害するが、基礎となるツール使用能力はそのままであり、単に特定のフォーマットによって隠蔽されるだけである。 そこで,本稿では,非政治的指導,ヒントに基づく指導,誤例指導など,同時学習と相互学習の両方で適用された多様な監視信号の集合を体系的に検討する。 RLを用いたSFT(Interleaving supervised fine-tuning)は安定性を著しく向上させるが,フォーマットおよびコンテンツアウト・オブ・ディストリビューション(OOD)評価下での劣化性能を示す。 また、学習率と設定間の一般化の影響も分析した。 これらの結果は、RL障害を理解することの重要性を強調し、多様な監視信号が探索的学習をいかに導くかを示し、複雑な多段階ツール使用タスクのためのLLMの堅牢なトレーニングを可能にする。 私たちのコードはhttps://github.com/hypasd-art/Tool-RL-Box.comで利用可能です。

関連論文リスト

• What Does an LLM Learn from Reinforcement Learning? A Mechanistic Interpretability Perspective with Fixed-SAE Track [4.624097215050827]
  このフレームワークは、ベースモデルとすべてのRLチェックポイントにまたがるアクティベーションに基づいて、レイヤ毎の共有SAEをトレーニングする。 RLにより引き起こされるドリフトは小さく, 段階的, 概念的であり, 後期層に集中しており, 小セットのラダートークンのサンプリング率の向上が主である。
  論文  参考訳（メタデータ） (2026-09-14T05:29:45Z)
• Think, Look, and Revise: Inconsistency-Aware Visual Self-Correction in MLLMs [35.17881745040865]
  ツール拡張マルチモーダル推論は、外部ツールをマルチモーダルな言語モデルに統合する。 ツール強化推論のための検証と動的エラー回復をMLLMに組み込むフレームワークであるReVISEを提案する。
  論文  参考訳（メタデータ） (2026-08-29T17:22:08Z)
• PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents [57.69188221227875]
  マルチターンツール利用エージェントのためのPrivileged trAce Co-Trainingフレームワークを提案する。 キーとなる考え方は、専門家のトレースをロールアウト時間ヒントではなく、トレーニング時の最適化信号としてのみ使用することだ。 PACT は強い SFT および RL ベースのベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2026-06-15T04:46:23Z)
• Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
  強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T21:22:34Z)
• Tool Zero: Training Tool-Augmented LLMs via Pure RL from Scratch [63.40752011615843]
  ツール強化言語モデルのトレーニングは、複雑なタスクの能力を高めるための有望なアプローチとして登場した。 規則に基づく強化学習のための動的一般化誘導型報酬設計を提案する。 本研究では,SFTモデルとRL-with-SFTモデルと比較して7%以上の性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-02T16:33:45Z)
• Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
  本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-07-16T17:59:24Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Symmetric Reinforcement Learning Loss for Robust Learning on Diverse Tasks and Model Scales [13.818149654692863]
  強化学習(RL)トレーニングは、移動目標や高勾配分散などの要因により本質的に不安定である。 本研究では,雑音データに対する教師付き学習から逆クロスエントロピー(RCE)を適用し,対称的なRL損失を定義することにより,RLトレーニングの安定性を向上させる。
  論文  参考訳（メタデータ） (2024-05-27T19:28:33Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。