論文の概要: What Hallucinations Have We Measured? Semantic Illusion, Confabulation, and Expressed Uncertainty

• arxiv url: http://arxiv.org/abs/2610.38520v1
• Date: Wed, 28 Oct 2026 09:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 10:23:20.875124
• Title: What Hallucinations Have We Measured? Semantic Illusion, Confabulation, and Expressed Uncertainty
• Title（参考訳）: 幻覚とは何か? : 意味的錯覚, 矛盾, 表現的不確かさ
• Abstract要約: 大規模言語モデルにおける幻覚の厳密な定義について論じる。 幻覚を膨らませることによって、それぞれの行動が明らかになり、研究が困難になる。 我々は、幻覚、SI、UNKを別々に報告し、実用的なラベリングプロトコルを導入することを推奨する。
• 参考スコア（独自算出の注目度）: 164.27008440861974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination remains one of the most critical challenges in deploying large language models (LLMs) reliably and safely. Yet the term is used inconsistently across the research community. We argue for a strict definition of hallucinations in LLMs. First, hallucinations should be confident incorrectness, kept separate from expressed uncertainty (UNK)1. UNK reveals that the model may be wrong, whereas a hallucination does not reveal it and is therefore more dangerous in practice. Conflating the two obscures their distinct behaviors and makes them hard to study. Second, hallucinations should be split by a simple re-elicitation test: does any semantically equivalent prompt recover the correct response? This test probes whether the relevant knowledge2 is accessible. If none does, the knowledge is likely absent or inaccessible, and the error type is a confabulation (CF) that likely requires external knowledge or retraining; if some does, the knowledge is accessible from the model but applied inconsistently, and the error type is a semantic illusion (SI) that simple prompt or decoding changes can mitigate3. Re-evaluating 14 recent hallucination methods under this taxonomy yields three findings. (1) Detection methods flag UNK more often than hallucinated responses (i.e., SI and CF). (2) Mitigation methods are far more effective for SI than for CF. (3) Latent signals are more informative than output-level signals for CF. An audit of recent hallucination papers shows that most conflate these categories. We recommend reporting CF, SI, and UNK separately, and introduce a practical labeling protocol that needs only a modest number of semantically equivalent prompts.
• Abstract（参考訳）: 幻覚は、大きな言語モデル(LLM)を確実に安全にデプロイする上で、最も重要な課題の1つです。 しかし、この用語は研究コミュニティ全体で矛盾して使われる。 LLMにおける幻覚の厳密な定義について論じる。 第一に、幻覚は、表現された不確実性(UNK)1から分離された自信の誤りであるべきである。 UNKは、このモデルが間違っていることを明らかにしているが、幻覚はそれを明らかにしないため、実際はより危険である。 この2つを融合させることで、それぞれ異なる振る舞いを曖昧にし、研究を困難にしている。 第二に、幻覚は単純な再帰テストによって分割されるべきである: 意味論的に等価なプロンプトは正しい応答を回復するだろうか? このテストは、関連する知識2がアクセス可能かどうかを調査する。 エラータイプは、外部の知識や再訓練を必要とする可能性があり、場合によっては、その知識はモデルからアクセス可能で、一貫性のない適用が可能であり、エラータイプは、単純なプロンプトやデコードの変更を緩和できるセマンティックイリュージョン(SI)である。 この分類の下での14の最近の幻覚法の再評価は3つの結果をもたらす。 1)UNKを幻覚応答(SI,CF)よりも頻繁にフラグする検出方法。 2) 減弱法はCF法よりもSI法の方がはるかに効果的である。 (3)遅延信号はCFの出力レベル信号よりも有益である。 最近の幻覚書の監査では、ほとんどの人がこれらのカテゴリを詳述している。 CF, SI, UNKを別々に報告し, 意味論的に等価なプロンプトの数だけを必要とする実用的なラベリングプロトコルを導入することを推奨する。

関連論文リスト

• Chain-of-Thought Prompting Obscures Hallucination Cues in Large Language Models: An Empirical Evaluation [9.540386616651295]
  CoT(Chain-of-Thought)は、ステップバイステップ推論を奨励することによって幻覚を緩和する。 我々の研究は、推論の利用における見落とされがちなトレードオフを浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-20T15:49:37Z)
• When Semantics Mislead Vision: Mitigating Large Multimodal Models Hallucinations in Scene Text Spotting and Understanding [75.57997630182136]
  シーンテキスト領域に着目した大規模マルチモーダルモデルにおけるトランスフォーマー層は,意味幻覚を生成する傾向が低い。 本研究では,ZoomText と Grounded Layer Correction の2つの主要コンポーネントからなる学習自由な意味幻覚緩和フレームワークを提案する。 本手法は,意味幻覚を効果的に緩和するだけでなく,シーンテキストのスポッティングや理解のための公開ベンチマークの性能も向上する。
  論文  参考訳（メタデータ） (2025-06-05T19:53:19Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
  本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。 この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。 CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2025-02-18T15:46:31Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。