論文の概要: Closed-World Resolution Against Tool Hallucination in LLM Agents
- arxiv url: http://arxiv.org/abs/2609.19425v1
- Date: Wed, 16 Sep 2026 21:02:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.014952
- Title: Closed-World Resolution Against Tool Hallucination in LLM Agents
- Title（参考訳）: LLM剤のツール幻覚に対する閉鎖的解決
- Abstract要約: 本論文は,主に測定およびベンチマーク研究である。
これは構造的な盲点であり、幻覚的な呼び出しは、どのゲートも決定しないことによって行われるため、ゲートは拒否できない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool-augmented large language model (LLM) agents fail in a way no tool-selection or tool-security method addresses: they call tools that do not exist and pass arguments no schema declares. Existing defenses either pick the right tool (selection) or constrain what an agent may do with real tools (gating), both of which presuppose the emitted call refers to a real tool at all. We show this is a structural blind spot: a hallucinated call is by construction not a decision any gate made, so no gate can reject it. This paper is primarily a measurement and benchmark study. We give a five-class taxonomy of tool hallucination (H1-H5) and, as a reference point, the Resolution Rung: a training-free, closed-world resolver (registry membership plus a signature check) whose interest is where it must sit, not what it computes. We prove hallucination defense must precede any causal gate, and characterize the one irreducible residue (borrowed arguments schema-indistinguishable from a valid call). Across ten hosted models under two invocation surfaces we measure 322 genuine hallucinations; fabricated-tool calls concentrate on the unconstrained raw-JSON surface (34 vs. 3), and model scale does not help (a 675B model matches a 7-8B one). We then extend to the Model Context Protocol, where merging several servers into one namespace creates hallucination surfaces a single registry cannot express (a second taxonomy, M1-M5); on the live MCP surface we measure 154 hallucinations, including from frontier models that were clean on the single-registry surface, because collisions and shadowing are structural to the merge. We release the versioned Hallucinated-Tools Benchmark (HTB) so any resolver is comparable across submissions.
- Abstract（参考訳）: ツール拡張大型言語モデル(LLM)エージェントは、ツール選択やツールセキュリティメソッドアドレスがない方法で失敗する。
既存の防御は、適切なツール(選択)を選択するか、エージェントが実際のツール(ゲーティング)で何をするかを制限する。
これは構造的な盲点であり、幻覚的な呼び出しは、どのゲートも決定しないことによって行われるため、ゲートは拒否できない。
本論文は,主に測定およびベンチマーク研究である。
ツール・ハロシン化(H1-H5)の5クラス分類を与え、基準点として「レゾリューション・ラング(Resolution Rung: 学習自由でクローズド・ワールド・リゾルバ(登録会員と署名チェック)であり、その興味はそこに座っていなければならない。
幻覚防御はあらゆる因果ゲートに先行し、既約残余を特徴付ける必要がある。
2つの呼び出し面下の10個のホストされたモデルで、322個の真の幻覚を測定する; 製造ツールコールは制約のない生JSON面に集中する(34対3)。
次に、モデルコンテキストプロトコルを拡張し、複数のサーバをひとつの名前空間にマージすると、単一のレジストリが表現できない幻覚面(第2の分類法M1-M5)が生成される。
Hallucinated-Tools Benchmark (HTB) のバージョンを公開しています。
関連論文リスト
- Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。
複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
論文 参考訳（メタデータ） (2026-09-01T09:08:15Z) - An Enclosed Mode Is a Gauge Choice: Topology Relative to Reach in Certified Code World Models [0.0]
サンプリングゲートによって受け入れられるコードワールドモデルは、ゲートが見ることができるものすべてにおいて、正確に正しいものであり、それを超えて任意に間違っている。
1つのノブが同じアーティファクトを3つのレジームを通り抜ける様子を示します。
論文 参考訳（メタデータ） (2026-08-28T17:14:58Z) - Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。
ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
論文 参考訳（メタデータ） (2026-08-28T15:25:12Z) - Zero Hallucination, by Construction: Hallucination-Aware Layered Oversight for Trustworthy Enterprise AI [39.17006317116773]
我々は、「ゼロ幻覚」はモデルが持つ性質ではなく、システムが強制する性質であると主張する。
本稿では,幻覚を最小限の障害モードではなく,持続可能な障害モードとして扱う保証アーキテクチャであるHALOを提案する。
論文 参考訳（メタデータ） (2026-07-20T12:34:44Z) - When the Tool Decides: LLM Agents Defer Blindly to Graph Neural Network Tools, and Stronger Backbones Defer More [10.283803346813047]
大規模言語モデル(LLM)エージェントにグラフニューラルネットワーク(GNN)をコール可能なツールとして装備する作業が増えている。
凍結したGNNをReActスタイルのLLMエージェントに明示的なツールとして公開し、テキスト分散グラフ上のノード分類で測定する。
その予測は生のGNNの97.6-99.2%の時間(5種)と一致している。
性能が向上し、代替手段が出現する場所で成長するにつれて、推論のコストは低下しない。
論文 参考訳（メタデータ） (2026-06-12T14:13:19Z) - Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams [1.0971997884861282]
LLMエージェントは、呼び出しが有向依存グラフを形成するトラジェクトリを生成する。
以前の構造プローブは、エージェントのランタイムコールグラフではなく、静的コードやチェーン・オブ・シンクテキストをターゲットにしていた。
Qwen3-32Bの残ストリーム上の低容量エッジプローブは、ツールコール依存性グラフをデコードする。
論文 参考訳（メタデータ） (2026-05-25T00:16:32Z) - Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use [47.29360932085394]
大規模言語モデル(LLM)は、外部ツールを呼び出す時と直接答える時を判断しなければならない自律的なエージェントとして、ますます機能します。
本稿では,各モデルの経験的性能に基づいて,ツール必要度をモデル適応的に定義する。
その結果,26.5～54.0%,30.8～41.8%のミスマッチが認められた。
論文 参考訳（メタデータ） (2026-05-13T18:59:28Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳（メタデータ） (2025-04-17T17:59:22Z) - Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。
この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。
CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
論文 参考訳（メタデータ） (2025-02-18T15:46:31Z) - AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models [91.78328878860003]
視覚言語モデル(LVLM)は幻覚の傾向が強い。
ベンチマークは多くの場合、障害パターンが一般化できない手作りのコーナーケースに依存します。
最初の自動ベンチマーク生成手法であるAutoHallusionを開発した。
論文 参考訳（メタデータ） (2024-06-16T11:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。