論文の概要: The Tool-Overuse Illusion: Why Does LLM Prefer External Tools over Internal Knowledge?
- arxiv url: http://arxiv.org/abs/2604.19749v1
- Date: Tue, 03 Mar 2026 08:55:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 02:32:14.039818
- Title: The Tool-Overuse Illusion: Why Does LLM Prefer External Tools over Internal Knowledge?
- Title(参考訳): LLMが内部知識よりも外部ツールを優先するのはなぜか?
- Authors: Yirong Zeng, Shen You, Yufei Liu, Qunyao Du, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Bibo Cai, Ting Liu,
- Abstract要約: 我々はまず、この現象が多種多様なLDMにまたがって広まることを明らかにした。
次に、2つのキーレンズを用いて基礎となるメカニズムを実験的に解明する。
ツール強化トレーニングプロセスの可視化により,報酬構造とツール使用行動の因果関係を確立する。
- 参考スコア(独自算出の注目度): 24.899370692647537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Equipping LLMs with external tools effectively addresses internal reasoning limitations. However, it introduces a critical yet under-explored phenomenon: tool overuse, the unnecessary tool-use during reasoning. In this paper, we first reveal this phenomenon is pervasive across diverse LLMs. We then experimentally elucidate its underlying mechanisms through two key lenses: (1) First, by analyzing tool-use behavior across different internal knowledge availability regions, we identify a \textit{knowledge epistemic illusion}: models misjudge internal knowledge boundaries and fail to accurately perceive their actual knowledge availability. To mitigate this, we propose a knowledge-aware epistemic boundary alignment strategy based on direct preference optimization, which reduces tool usage in by 82.8\% while yielding an accuracy improvement. (2) Second, we establish a causal link between reward structures and tool-use behavior by visualizing the tool-augmented training process. It reveals that \textit{outcome-only rewards} inadvertently encourage tool overuse by rewarding only final correctness, regardless of tool efficiency. To verify this, we balance reward signals during training rather than relying on outcome-only rewards, cutting unnecessary tool calls by 66.7\% (7B) and 60.7\% (32B) without sacrificing accuracy. Finally, we provide theoretical justification in this two lenses to understand tool overuse.
- Abstract(参考訳): 外部ツールによるLLMの取得は、内部推論の制限に効果的に対処する。
しかし、ツールの過剰使用、推論時の不要なツール使用といった、重要で未発見の現象が紹介されている。
本稿では,この現象が多種多様なLDMにまたがって広まることを最初に明らかにする。
まず, 内部知識の可利用領域をまたいだツール使用行動を分析することにより, 内部知識の境界を誤認し, 実際の知識の可利用性を正確に知覚できない, という, 2つの主要なレンズを用いて, その基盤となるメカニズムを実験的に解明する。
これを軽減するために, 直接選好最適化に基づく知識認識型先天的境界アライメント戦略を提案し, 精度の向上を図りながら, ツール使用率を82.8\%削減する。
2)報奨構造とツール使用行動の因果関係を,ツール強化トレーニングプロセスの可視化により確立する。
ツールの効率によらず、最終的な正しさのみを報いることによって、必然的にツールの過剰使用を奨励する。
これを検証するために、結果のみの報酬に頼るのではなく、トレーニング中に報酬信号のバランスをとり、不必要なツールコールを精度を犠牲にすることなく66.7\% (7B) と60.7\% (32B) に削減する。
最後に、ツールの過剰使用を理解するために、この2つのレンズに理論的正当性を与える。
関連論文リスト
- TInR: Exploring Tool-Internalized Reasoning in Large Language Models [31.2602361688688]
Tool-Internalized Reasoning (TInR)は、統合推論とツール使用のためのツール内部推論フレームワークである。
1)双方向の知識アライメント戦略によるツール内化,2)高品質な推論アノテーションを用いた微調整ウォームアップ,3)TInR固有の報酬を用いた強化学習,である。
実験結果から,TInR-Uは両設定において優れた性能を示し,その有効性と効率を強調した。
論文 参考訳(メタデータ) (2026-04-12T19:38:19Z) - What Does Vision Tool-Use Reinforcement Learning Really Learn? Disentangling Tool-Induced and Intrinsic Effects for Crop-and-Zoom [26.940122024948597]
MED (Measure-Explain-Diagnose) を導入し, 道具誘発効果による内在能力の変化を解消した。
ツール・ユース・RLはツールによるダメージを主に軽減するのに対し、改善は本質的な学習に支配されている。
全体として、現在の視覚ツール使用RLは、それをマスターするのではなく、安全にツールと共存することを学ぶ。
論文 参考訳(メタデータ) (2026-02-01T17:00:50Z) - Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。
現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。
最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。
このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
論文 参考訳(メタデータ) (2025-04-21T05:40:05Z) - Alignment for Efficient Tool Calling of Large Language Models [34.748897353548756]
大きな言語モデル(LLM)は、外部ツールを統合することができ、知識境界を広げてタスクパフォーマンスを向上させる。
しかしながら、ツールに依存すると、パフォーマンス、スピード、コストのトレードオフが発生することが多い。
本稿では,LSMを知識境界に整合させ,ツールの実行に関するよりインテリジェントな判断を行うという課題に対処する。
論文 参考訳(メタデータ) (2025-03-09T17:55:49Z) - Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。
MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。
MeCoは微調整不要で、最小限のコストがかかる。
論文 参考訳(メタデータ) (2025-02-18T15:45:01Z) - LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。
試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。
STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文 参考訳(メタデータ) (2024-03-07T18:50:51Z) - Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。
マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。
マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-30T21:53:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。