論文の概要: From Twisted Facts to Rogue Agents: Can LLMs Reliably Detect Multi-Dimensional Hallucinations?

• arxiv url: http://arxiv.org/abs/2611.08231v1
• Date: Thu, 05 Nov 2026 16:15:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.572607
• Title: From Twisted Facts to Rogue Agents: Can LLMs Reliably Detect Multi-Dimensional Hallucinations?
• Title（参考訳）: ツイスト・ファクトからローグ・エージェントへ:LLMは多次元幻覚を確実に検出できるのか?
• Abstract要約: 大規模言語モデル(LLM)は情報アクセス、コンテンツ生成、エージェントベースのタスク実行に広く使われている。 HaluCheckは、テキストにおける事実の幻覚とエージェントの軌跡における忠実な幻覚の両方にまたがる42k以上のインスタンスからなるベンチマークである。
• 参考スコア（独自算出の注目度）: 8.323105727110114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are widely used for information access, content production, and agent-based task execution, but their outputs remain vulnerable to subtle, high-risk hallucinations. To systematically evaluate and advance post-generation hallucination detection, we introduce HaluCheck, a large-scale, bilingual benchmark comprising over 42k instances spanning both factual hallucinations in text and faithfulness hallucinations in agent trajectories. HaluCheck features fine-grained, multi-level annotations for detection, localization, and correction, covering different tasks and perturbation degrees. Experiments on fourteen LLMs reveal that, while models show basic sample-level detection ability, they struggle with fine-grained localization, correction, and agent hallucination detection. Further analysis demonstrates that thinking, web search, and supervised fine-tuning each offer partial improvements, but none fully solve the problem. HaluCheck thus provides a solid basis for benchmarking and diagnosing LLM reliability across text and agent scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は情報アクセス、コンテンツ生成、エージェントベースのタスク実行に広く使用されているが、その出力は微妙でリスクの高い幻覚に弱いままである。 次世代の幻覚検出を体系的に評価し,進歩させるために,テキストにおける事実幻覚とエージェントトラジェクトリにおける忠実幻覚の両方にまたがる42k以上のインスタンスからなる大規模バイリンガル・ベンチマークであるHaluCheckを導入する。 HaluCheckは、さまざまなタスクと摂動度をカバーする、検出、ローカライゼーション、修正のための、きめ細かいマルチレベルアノテーションを備えている。 14のLLM実験では、モデルが基本的なサンプルレベルの検出能力を示す一方で、微粒な局所化、修正、およびエージェント幻覚検出に苦慮していることが明らかとなった。 さらなる分析は、思考、Web検索、教師付き微調整がそれぞれ部分的に改善されていることを示しているが、この問題を完全には解決していない。 したがって、HaluCheckはテキストとエージェントのシナリオ間でLCMの信頼性をベンチマークし、診断するための確かな基盤を提供する。

関連論文リスト

• Leveraging Low-Level Symbolic Competences for Unsupervised Grounding in Hallucination Detection [6.17293763300421]
  言語モデルの不透明な推論プロセスのため、幻覚検出は困難である。 本研究では,LLMが非教師付き幻覚検出にsqlなどの代替的,低レベルな記号能力を利用することができるかどうかを検討する。 提案手法は, 直接予測を改良し, 最先端の幻覚検出手法と競合することがわかった。
  論文  参考訳（メタデータ） (2026-09-04T11:44:11Z)
• Large Language Models Hallucination: A Comprehensive Survey [3.8100688074986095]
  大規模言語モデル(LLM)は自然言語処理を変革し、様々なタスクで優れたパフォーマンスを実現している。 派手な派手さは、しばしば幻覚(幻覚)として知られる偽情報や偽情報を生み出すコストが伴う。 この調査は、LSMにおける幻覚の研究を包括的にレビューし、原因、検出、緩和に焦点を当てている。
  論文  参考訳（メタデータ） (2025-10-05T20:26:38Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• DelucionQA: Detecting Hallucinations in Domain-specific Question Answering [22.23664008053246]
  幻覚は、大言語モデル(LLM)によって生成されたテキストでよく知られた現象である 我々は、ドメイン固有のQAタスクのためのLLMの検索による幻覚をキャプチャするデータセットDelucionQAを紹介する。 本研究では,研究コミュニティの今後の研究のベースラインとして,幻覚検出手法のセットを提案する。
  論文  参考訳（メタデータ） (2023-12-08T17:41:06Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。