論文の概要: Spurious Tool Use: When RL Agents Learn the Wrong Reason to Act

• arxiv url: http://arxiv.org/abs/2609.16268v1
• Date: Mon, 14 Sep 2026 19:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.213174
• Title: Spurious Tool Use: When RL Agents Learn the Wrong Reason to Act
• Title（参考訳）: RLエージェントが間違った理由を学べるツール
• Abstract要約: 大規模言語モデル(LLM)エージェントは、外部ツールによる自然言語推論をますますインターリーブする。 RLを訓練したエージェントが、ツール選択ポリシーをいつ、なぜ学習するかについて検討する。
• 参考スコア（独自算出の注目度）: 38.40533345940731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents increasingly interleave natural language reasoning with external tools such as web search and code execution. These tool-use policies are often optimized via reinforcement learning (RL), which can amplify spurious correlations in the training data. In this work, we study when and why RL-trained agents learn shortcut tool-selection policies: invoking tools based on superficial prompt cues rather than genuine task requirements. We construct controlled synthetic environments combining factual question answering and mathematical reasoning tasks, and inject cues that are strongly correlated with specific tools during training but causally irrelevant to tool necessity. Across counterfactual evaluations where cues are present but the associated tools are not required, agents exhibit substantial shortcut behavior, with spurious tool invocation rates increasing by up to 39 percent. However, shortcut formation is not universal: across the conditions we test, it arises only when the agent has already learned to use the target tool reliably, suggesting that task competence, rather than dataset imbalance alone, is a key factor in shortcut learning. A swapped-cue analysis further shows that semantic alignment between cues and tools substantially amplifies this effect. To mitigate these failures, we introduce a dense, decision-level reward in which an LLM judge evaluates the necessity of each tool call. This tool-necessity reward effectively suppresses cue-driven tool use while preserving task performance, providing a practical approach to improving the robustness of LLM agent tool-use policies.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、Web検索やコード実行といった外部ツールと自然言語推論をインターリーブするようになっている。 これらのツール利用ポリシーは、しばしば強化学習(RL)によって最適化され、トレーニングデータの急激な相関を増幅することができる。 本研究では,RL訓練エージェントが,実際のタスク要求ではなく,表面的なプロンプトキューに基づくツールの起動という,ショートカットツール選択ポリシーをいつ,なぜ学習するかを検討する。 我々は,事実質問応答と数学的推論タスクを組み合わせた制御された合成環境を構築し,訓練中に特定のツールと強く相関する手がかりを注入するが,ツールの必要性とは因果関係がない。 キューが存在するが関連するツールが不要な反ファクト的評価では、エージェントは相当なショートカット動作を示し、ツールの起動率は最大で39%上昇する。 しかし、ショートカットの形成は普遍的ではない。テストする条件の中で、エージェントがターゲットツールを確実に使用することを学び、データセットの不均衡のみではなくタスク能力がショートカット学習の重要な要素であることを示唆している。 スワップドキュー解析により、キューとツール間のセマンティックアライメントが、この効果を著しく増幅することが示された。 これらの障害を軽減するため,LLM審査員が各ツールコールの必要性を評価するような,密度の高い意思決定レベルの報酬を導入する。 このツール必要報酬は、タスク性能を維持しながらキュー駆動ツールの使用を効果的に抑制し、LLMエージェントツール使用ポリシーの堅牢性を改善するための実践的なアプローチを提供する。

関連論文リスト

• Forgotten in Weights, Recovered by Tools: Agentic Tool Unlearning for LLM Agents [54.050506620820784]
  エージェントツールアンラーニング(ATU)は、通常のツール使用を保持しながら、パラメトリックリコールとツールによるリカバリの両方を削減することを目的としている。 ATUは、ツール強化されたエージェントデプロイメント下で、ターゲットの忘れと保持ユーティリティのバランスを向上し、未学習をより堅牢にする。
  論文  参考訳（メタデータ） (2026-08-21T18:34:48Z)
• Do Multimodal Agents Really Benefit from Tool Use? A Systematic Study of Capability Gains [20.11899219087138]
  画像のエージェントであるThymeとDeepEyesV2を用いて、現実世界の理解、OCR、チャート理解、数学的推論の2つの代表的思考について検討する。 ツールアクセスは、一貫した集約的改善がほとんど得られず、生成したコストを確実に削減することができず、小さなツールのみの解決セットのみを残している。
  論文  参考訳（メタデータ） (2026-06-01T15:04:25Z)
• AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
  textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。 AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
  論文  参考訳（メタデータ） (2026-01-26T16:04:43Z)
• Agent RL Scaling Law: Agent RL with Spontaneous Code Execution for Mathematical Problem Solving [26.413753656936688]
  大規模言語モデル(LLM)は、正確で検証可能な計算を必要とする数学的推論タスクに苦慮することが多い。 結果に基づく報酬から強化学習(RL)がテキストベースの推論を強化する一方で、エージェントがコード実行のような外部ツールを活用するために自律的に学習する方法を理解することは依然として重要である。
  論文  参考訳（メタデータ） (2025-05-12T17:23:34Z)
• Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
  ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。 現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。 最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。 このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
  論文  参考訳（メタデータ） (2025-04-21T05:40:05Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。