論文の概要: SHAM-Bench: A Span-level Hallucination Benchmark Across Multiple Tasks

• arxiv url: http://arxiv.org/abs/2610.27370v1
• Date: Mon, 19 Oct 2026 22:48:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.539501
• Title: SHAM-Bench: A Span-level Hallucination Benchmark Across Multiple Tasks
• Title（参考訳）: SHAM-Bench: 複数のタスクにまたがるスパンレベルの幻覚ベンチマーク
• Abstract要約: LLM出力におけるスパンレベルの幻覚検出ピンポイントの含有量 ほとんどのスパンレベルのデータセットは単一のNLGドメインのみをカバーする。 SHAM-Benchは6つのNLGタスクにまたがるスパンレベルの幻覚検出のための統一ベンチマークである。
• 参考スコア（独自算出の注目度）: 0.8733163022937437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Span-level hallucination detection pinpoints unsupported content in LLM outputs, enabling actionable feedback and targeted mitigation. Existing evaluations for span-level hallucination detection methods are fragmented across tasks, annotation formats, and metrics, and most span-level datasets cover only a single NLG domain, making it difficult to assess whether a detection method actually generalizes across tasks and domains. In this paper, we introduce SHAM-Bench (Span-level Hallucination Benchmark Across Multiple Tasks), a unified benchmark for span-level hallucination detection spanning six NLG tasks, aggregated from existing human-annotated datasets totaling 6,461 examples under a common schema and evaluation protocol. Using SHAM-Bench, we evaluate existing hallucination detection methods and find that fine-tuned detectors often perform well in-domain but degrade under distribution shift, whereas prompt-based methods with reasoning are more robust across tasks. Our analysis further shows that subtle unsupported content remains difficult to detect and span-level evaluation is still challenged by ambiguous span boundaries and noisy labels. We release the dataset, evaluation code, and a public leaderboard to support future research on broadly generalizable hallucination detection.
• Abstract（参考訳）: LLM出力では、スパンレベルの幻覚検出ピンポイントがサポートされていない。 既存のスパンレベルの幻覚検出手法の評価はタスク、アノテーションフォーマット、メトリクスで断片化されており、ほとんどのスパンレベルのデータセットは単一のNLGドメインのみをカバーするため、検出方法がタスクやドメインをまたいで実際に一般化されているかどうかを評価することは困難である。 本稿では、6つの NLG タスクにまたがるスパンレベル幻覚検出のための統一ベンチマークである SHAM-Bench (Span-level Hallucination Benchmark Across Multiple Tasks) を紹介する。 SHAM-Benchを用いて、既存の幻覚検出法を評価し、細調整された検出器は、ドメイン内でよく機能するが、分散シフト下では劣化するのに対し、推論を伴うプロンプトベースの手法はタスク間でより堅牢であることを示す。 分析の結果,微妙な内容の検出が困難であり,あいまいなスパン境界やノイズラベルによる評価が依然として困難であることが判明した。 我々は,広範に一般化可能な幻覚検出の今後の研究を支援するために,データセット,評価コード,公開リーダボードをリリースする。

関連論文リスト

• Scalable Token-Level Hallucination Detection in Large Language Models [63.3426544914783]
  内部幻覚は推論集約的なタスクでは検出が難しい。 TokenHDはトークンレベルの幻覚検出器を訓練するための全体論的パイプラインである。
  論文  参考訳（メタデータ） (2026-05-12T16:47:40Z)
• Beyond In-Domain Detection: SpikeScore for Cross-Domain Hallucination Detection [19.54670628464793]
  既存の幻覚検出手法は、トレーニングデータとテストデータが同じドメインから来ると、高い性能が得られる。 本稿では,1つの領域のデータから幻覚検出器を訓練することを目的とした,一般幻覚検出(Generalizable Hallucination Detection, GHD)と呼ばれる重要な問題について検討する。 この現象に基づいて,マルチターン対話における急激な変動を定量化する新しいスコアSpikeScoreを提案する。
  論文  参考訳（メタデータ） (2026-01-27T06:28:35Z)
• A Survey of Multimodal Hallucination Evaluation and Detection [52.03164192840023]
  MLLM(Multi-modal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なパラダイムとして登場した。 これらのモデルはしばしば幻覚に悩まされ、もっともらしいように見えるコンテンツを生成するが、入力内容や確立された世界的知識と矛盾する。 本調査では,イメージ・トゥ・テキスト(I2T)およびテキスト・トゥ・イメージ(T2I)生成タスクを対象とした幻覚評価ベンチマークと検出方法の詳細なレビューを行う。
  論文  参考訳（メタデータ） (2025-07-25T07:22:42Z)
• HalluCounter: Reference-free LLM Hallucination Detection in the Wild! [6.5037356041929675]
  HalluCounterは、応答応答とクエリ応答の整合性とアライメントパターンの両方を利用する参照なし幻覚検出手法である。 我々の手法は最先端の手法よりもかなり優れており、データセット間での幻覚検出における平均信頼度は90%を超えている。
  論文  参考訳（メタデータ） (2025-03-06T16:59:18Z)
• HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs [0.0]
  幻覚は、大規模言語モデル(LLM)の信頼性と整合性に重大な課題をもたらす 本稿では,LLMの幻覚傾向のベンチマークと効率的な幻覚検出を組み合わせた,スケーラブルな自動フレームワークを提案する。 フレームワークはドメインに依存しないため、任意のドメインでのベンチマーク作成や評価に任意の言語モデルを使用することができる。
  論文  参考訳（メタデータ） (2024-02-25T22:23:37Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• VDC: Versatile Data Cleanser based on Visual-Linguistic Inconsistency by Multimodal Large Language Models [46.72546879204724]
  現実の世界では、データセットには、バックドア攻撃による毒サンプル、クラウドソーシングにおけるノイズの多いラベル、さらにはそれらのハイブリッドなど、汚れたサンプルが含まれている。 既存の検出器は、他のドメインの汚れたサンプルを扱う場合、しばしば一般化が弱くなるような、有毒なサンプルやノイズのあるラベルを検出することのみに焦点を当てている。 マルチモーダル大規模言語モデル(MLLM)の超越した機能を利用した多目的データクリーニング(VDC)を提案する。
  論文  参考訳（メタデータ） (2023-09-28T07:37:18Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。