論文の概要: ToolHACE: A Dataset for Detecting Hallucinations in Tool-Based LLM Responses

• arxiv url: http://arxiv.org/abs/2610.17125v1
• Date: Mon, 12 Oct 2026 17:15:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 03:09:19.189697
• Title: ToolHACE: A Dataset for Detecting Hallucinations in Tool-Based LLM Responses
• Title（参考訳）: ToolHACE: ツールベースのLLM応答における幻覚検出用データセット
• Abstract要約: 本稿では,ツール拡張言語応答における幻覚検出のベンチマークであるToolHACEを紹介する。 ツールコール後の幻覚は広範に行われており,検出は困難である。 これらの知見は、ツール強化言語システムにおいて、信頼できる幻覚検出のための専用のベンチマークとモデルの必要性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 76.37906165049957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-augmented language models ground their responses in external tool outputs, improving reliability beyond parametric knowledge alone. However, even when the correct tool is called and returns accurate information, models may still contradict such outputs, omit critical details, or generate unsupported claims. Existing hallucination benchmarks for tool-augmented dialogue primarily focus on the tool-calling stage, evaluating whether the correct tool and arguments are selected, while overlooking errors that arise during post-tool response generation. To address this gap, we introduce ToolHACE, a span-level benchmark for hallucination detection in tool-augmented LLM responses, covering five fine-grained hallucination categories. Through extensive experiments with modern hallucination detectors, we show that post-tool-call hallucinations are widespread and remain challenging to detect. Our results further demonstrate that effective detection requires training on specialized tool-augmented corpora, while transfer from tool-agnostic hallucination datasets performs poorly in this setting. These findings highlight the need for dedicated benchmarks and models for reliable hallucination detection in tool-augmented language systems.
• Abstract（参考訳）: ツール拡張言語モデルは、そのレスポンスを外部のツール出力に基盤にして、パラメトリック知識以外の信頼性を改善します。 しかし、正しいツールが呼び出されて正確な情報が返されたとしても、モデルはまだそのようなアウトプットと矛盾したり、重要な詳細を省略したり、サポートされていないクレームを生成したりする可能性がある。 ツール拡張対話のための既存の幻覚ベンチマークは、主にツール呼び出しステージに注目し、正しいツールと引数が選択されているかどうかを評価し、ポストツール応答生成時に発生するエラーを見落としている。 このギャップに対処するため、ツール拡張LDM応答における幻覚検出のためのスパンレベルベンチマークであるToolHACEを導入し、5つの細かい幻覚カテゴリをカバーした。 現代の幻覚検出装置を用いた広範囲な実験により, 着信後の幻覚は広範に広まり, 検出が困難であることが判明した。 さらに, ツールに依存しない幻覚データセットからの転送は, この環境下では不十分である一方で, ツール強化コーパスの訓練が必要であることを実証した。 これらの知見は,ツール拡張言語システムにおける幻覚検出のための専用のベンチマークとモデルの必要性を浮き彫りにしている。

関連論文リスト

• Understanding and Mitigating Hallucination Escape in Tool-Using LLM Agents [55.66183292945911]
  大規模言語モデル(LLM)は、外部ツールを呼び出す自律的なエージェントとして機能する。 モデル固有のツール使用傾向が現在のツール設定と矛盾する場合、幻覚は急激に上昇します。 EscapeGuardは、コンフリクト認識ゲーティングとコンフィグレーションに基づくアテンション強化を組み合わせた、トレーニング不要な推論時間手法である。
  論文  参考訳（メタデータ） (2026-10-03T09:57:35Z)
• Internal Representations as Indicators of Hallucinations in Agent Tool Selection [5.2107604548805915]
  大規模言語モデル(LLM)は、ツール呼び出しとツールの使用において顕著な能力を示している。 LLMは、誤ったツールを選択し、不正なパラメータを提供し、"ツールバイパス"の振る舞いを示す幻覚に悩まされる。 LLMの内部表現を利用して,ツールコールの幻覚をリアルタイムに検出する,計算効率のよいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-08T18:38:45Z)
• ToolCritic: Detecting and Correcting Tool-Use Errors in Dialogue Systems [4.930296454541593]
  ToolCriticは、マルチターン、ツール拡張された対話におけるツールの使用を評価し、改善するフレームワークである。 試行によると、ToolCriticはツール呼び出しの精度を最大13%改善している。
  論文  参考訳（メタデータ） (2025-10-19T23:42:39Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Reducing Tool Hallucination via Reliability Alignment [31.761771794788462]
  大きな言語モデル(LLM)は、言語生成を超えて、外部ツールと対話し、自動化と現実世界のアプリケーションを可能にする機能を拡張した。 モデルが不適切なツールを選択するか、それらを誤用するツール幻覚は、誤ったタスクの実行、計算コストの増大、システムの信頼性の低下につながる重要な課題を引き起こす。 RelyToolBenchを導入し、特殊なテストケースと新しいメトリクスを統合し、幻覚を意識したタスクの成功と効率を評価する。 最後に、信頼性アライメントフレームワークであるRelignを提案する。このフレームワークは、ツール使用のアクション空間を拡張して、不決定なアクションを含むようにし、LCMがツールの使用を遅らせたり、明確化を求めたり、ツールの選択を調整することを可能にする。
  論文  参考訳（メタデータ） (2024-12-05T13:10:54Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。