論文の概要: Understanding and Mitigating Hallucination Escape in Tool-Using LLM Agents
- arxiv url: http://arxiv.org/abs/2610.04409v1
- Date: Sat, 03 Oct 2026 09:57:35 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-06 21:43:13.430814
- Title: Understanding and Mitigating Hallucination Escape in Tool-Using LLM Agents
- Title(参考訳): ツール・ユースLDMエージェントにおける幻覚発生の理解と緩和
- Abstract要約: 大規模言語モデル(LLM)は、外部ツールを呼び出す自律的なエージェントとして機能する。
モデル固有のツール使用傾向が現在のツール設定と矛盾する場合、幻覚は急激に上昇します。
EscapeGuardは、コンフリクト認識ゲーティングとコンフィグレーションに基づくアテンション強化を組み合わせた、トレーニング不要な推論時間手法である。
- 参考スコア(独自算出の注目度): 55.66183292945911
- License:
- Abstract: Large language models (LLMs) increasingly serve as autonomous agents that invoke external tools. However, this capability introduces tool hallucination, selecting incorrect tools or generating invalid calls. Existing mitigation methods report substantial improvements, yet we identify a previously overlooked failure mode that we term Hallucination Escape. These methods reduce hallucination on the tool configuration they are tuned on but increase it on other configurations, canceling out the gain. We further investigate this phenomenon and find that hallucination rises sharply when a model's intrinsic tool-use tendencies conflict with the current tool configuration, and that existing methods reinforce rather than suppress these tendencies, which in turn contributes to hallucination escape. Building on these findings, we propose EscapeGuard, a training-free inference-time method that combines conflict-aware gating with configuration-derived attention enhancement to mitigate tool hallucination while preventing hallucination escape. Across six benchmarks on various models, EscapeGuard reduces tool-selection hallucination by 9.0 pp and suppresses hallucination escape, lowering the cross-configuration mean by 23.7 pp and achieving an 89.1% net improvement in paired-query evaluation. We hope this work can encourage evaluation beyond a single tool configuration and pave the way for more reliable tool-using LLM agents.
- Abstract(参考訳): 大規模言語モデル(LLM)は、外部ツールを呼び出す自律的なエージェントとして機能する。
しかし、この機能はツール幻覚を導入し、不正なツールを選択したり、不正な呼び出しを発生させる。
既存の緩和手法では大幅な改善が報告されているが,Halucination Escape(ハロシン化エスケープ)と呼ばれる,これまで見過ごされていた障害モードを特定する。
これらのメソッドは、調整されたツール構成の幻覚を減らすが、他の構成の幻覚を増大させ、ゲインをキャンセルする。
さらに,本研究では,モデル固有のツール使用傾向が現在のツール構成と矛盾する場合に,幻覚が急激に増加し,既存の手法がこれらの傾向を抑制するよりも強化され,幻覚の回避に寄与することが確認された。
これらの知見に基づいて,コンフリクト認識ゲーティングと構成に基づく注意力増強を組み合わせ,幻覚の回避と幻覚の回避を両立させるトレーニングフリー推論時間手法であるEscapeGuardを提案する。
様々なモデルの6つのベンチマークで、EscapeGuardはツール選択幻覚を9.0pp削減し、幻覚の回避を抑え、クロスコンフィグレーション平均を23.7pp下げ、ペアクエリの評価において89.1%の純改善を達成した。
この作業によって、単一のツール構成を超えて評価が促進され、より信頼性の高いツール利用 LLM エージェントの道が拓けることを期待しています。
関連論文リスト
- Forgotten in Weights, Recovered by Tools: Agentic Tool Unlearning for LLM Agents [54.050506620820784]
エージェントツールアンラーニング(ATU)は、通常のツール使用を保持しながら、パラメトリックリコールとツールによるリカバリの両方を削減することを目的としている。
ATUは、ツール強化されたエージェントデプロイメント下で、ターゲットの忘れと保持ユーティリティのバランスを向上し、未学習をより堅牢にする。
論文 参考訳(メタデータ) (2026-08-21T18:34:48Z) - Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning [48.99783163807576]
クロスツール記述中毒は、エージェントの軌道を操縦するためにプランナー可視のツールメタデータを操作することができる。
重要な観察は、有毒な記述がステップを越えた計画コンテキストに留まり、その後のツール選択に対する継続的な影響を可能にすることである。
我々は,孤立計画と呼ばれる新しい概念に基づく新しいシステムレベルの防衛ツールであるTool-Guardを提案する。
論文 参考訳(メタデータ) (2026-06-18T20:31:08Z) - Kestrel: Grounding Self-Refinement for LVLM Hallucination Mitigation [86.37623966653688]
大規模視覚言語モデル(LVLM)はますます強まりつつあるが、マルチモーダルタスクにおいて幻覚を起こす傾向にある。
幻覚を避けるためにこれらのLVLMを訓練することは、より大きなモデルでは違法に高価になるため、トレーニングフリーな手法はこの問題に対して安価で柔軟な解決策を提供する。
我々は,視覚的視覚的接地剤とエビデンスを検証した自己修復機構を組み合わせた,LVLM幻覚軽減のためのトレーニングフリーフレームワークであるKestrelを提案する。
論文 参考訳(メタデータ) (2026-03-17T15:30:47Z) - ForgeryVCR: Visual-Centric Reasoning via Efficient Forensic Tools in MLLMs for Image Forgery Detection and Localization [62.03035862528452]
ForgeryVCRは、視覚中心推論(Visual-Centric Reasoning)を通じて、知覚できないトレースを明示的な視覚中間体に物質化するフレームワークである。
ForgeryVCRは、検出タスクとローカライゼーションタスクの両方において、最先端(SOTA)のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-02-15T11:14:47Z) - Internal Representations as Indicators of Hallucinations in Agent Tool Selection [5.2107604548805915]
大規模言語モデル(LLM)は、ツール呼び出しとツールの使用において顕著な能力を示している。
LLMは、誤ったツールを選択し、不正なパラメータを提供し、"ツールバイパス"の振る舞いを示す幻覚に悩まされる。
LLMの内部表現を利用して,ツールコールの幻覚をリアルタイムに検出する,計算効率のよいフレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-08T18:38:45Z) - The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination [11.89501927277778]
本稿では,Reasoning RLによる推論の段階的向上が,タスク性能向上に比例してツール幻覚を増大させることを示す。
機械的に、RLの推論はツール-信頼性関連表現を不均等に崩壊させ、後層残留ストリームに集中した増幅された発散物として幻覚表面を呈する。
論文 参考訳(メタデータ) (2025-10-27T03:58:29Z) - Reducing Tool Hallucination via Reliability Alignment [31.761771794788462]
大きな言語モデル(LLM)は、言語生成を超えて、外部ツールと対話し、自動化と現実世界のアプリケーションを可能にする機能を拡張した。
モデルが不適切なツールを選択するか、それらを誤用するツール幻覚は、誤ったタスクの実行、計算コストの増大、システムの信頼性の低下につながる重要な課題を引き起こす。
RelyToolBenchを導入し、特殊なテストケースと新しいメトリクスを統合し、幻覚を意識したタスクの成功と効率を評価する。
最後に、信頼性アライメントフレームワークであるRelignを提案する。このフレームワークは、ツール使用のアクション空間を拡張して、不決定なアクションを含むようにし、LCMがツールの使用を遅らせたり、明確化を求めたり、ツールの選択を調整することを可能にする。
論文 参考訳(メタデータ) (2024-12-05T13:10:54Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。