論文の概要: What do Geometric Hallucination Detection Metrics Actually Measure?

• arxiv url: http://arxiv.org/abs/2602.09158v1
• Date: Mon, 09 Feb 2026 20:04:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.228607
• Title: What do Geometric Hallucination Detection Metrics Actually Measure?
• Title（参考訳）: 幾何学的幻覚検出基準は実際に何を測定するのか?
• Authors: Eric Yeats, John Buckheit, Sarah Scullen, Brendan Kennedy, Loc Truong, Davis Brown, Bill Kay, Cliff Joslyn, Tegan Emerson, Michael J. Henry, John Emanuello, Henry Kvinge,
• Abstract要約: 幻覚は、高効率なアプリケーションに生成モデルをデプロイするための障壁であり続けている。 異なる幾何学的統計が異なる種類の幻覚を捉えることを示す。 幾何学的統計量に対する領域シフトの影響を軽減するため, 単純な正規化法を提案する。
• 参考スコア（独自算出の注目度）: 8.084840813224597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination remains a barrier to deploying generative models in high-consequence applications. This is especially true in cases where external ground truth is not readily available to validate model outputs. This situation has motivated the study of geometric signals in the internal state of an LLM that are predictive of hallucination and require limited external knowledge. Given that there are a range of factors that can lead model output to be called a hallucination (e.g., irrelevance vs incoherence), in this paper we ask what specific properties of a hallucination these geometric statistics actually capture. To assess this, we generate a synthetic dataset which varies distinct properties of output associated with hallucination. This includes output correctness, confidence, relevance, coherence, and completeness. We find that different geometric statistics capture different types of hallucinations. Along the way we show that many existing geometric detection methods have substantial sensitivity to shifts in task domain (e.g., math questions vs. history questions). Motivated by this, we introduce a simple normalization method to mitigate the effect of domain shift on geometric statistics, leading to AUROC gains of +34 points in multi-domain settings.
• Abstract（参考訳）: 幻覚は、高効率なアプリケーションに生成モデルをデプロイするための障壁であり続けている。 これは、モデル出力を検証するために外部の根拠真理が容易に利用できない場合に特に当てはまる。 この状況は、幻覚を予測し、限られた外部知識を必要とするLLMの内部状態における幾何学的信号の研究を動機付けている。 モデル出力を幻覚(例えば、無関係と不整合)と呼ぶ要因が多数存在することを考慮し、この論文では、これらの幾何学的統計学が実際に捉えている幻覚の具体的な性質を問う。 これを評価するために,幻覚に関連する出力の特性が異なる合成データセットを生成する。 これには、出力の正確性、信頼性、妥当性、一貫性、完全性が含まれる。 異なる幾何学的統計は様々な種類の幻覚を捉える。 その過程で,既存の幾何検出手法がタスク領域のシフトにかなり敏感であることを示す(例えば,数学的問題と歴史的問題)。 そこで本研究では,幾何学的統計量に対する領域シフトの影響を緩和する,単純な正規化法を導入し,マルチドメイン設定におけるAUROCの+34点のゲインを導いた。

関連論文リスト

• HACK: Hallucinations Along Certainty and Knowledge Axes [66.66625343090743]
  本稿では,2つの軸に沿って幻覚を分類する枠組みを提案する。 内部的に正しい知識を持っているにもかかわらず、モデルが確実に幻覚する幻覚のサブセットを特に特定する。
  論文  参考訳（メタデータ） (2025-10-28T09:34:31Z)
• Counting Hallucinations in Diffusion Models [34.45858211220468]
  拡散確率モデル(DPM)は、画像やビデオ合成などの生成タスクにおいて顕著な進歩を見せている。 彼らはしばしば、現実世界の知識と矛盾する幻覚的なサンプル(幻覚)を生産する。 その流行にもかかわらず、そのような幻覚を体系的に定量化するための実現可能な方法論の欠如は進歩を妨げている。
  論文  参考訳（メタデータ） (2025-10-15T01:48:04Z)
• Mitigating Diffusion Model Hallucinations with Dynamic Guidance [75.90458880492054]
  拡散モデルはしばしば、真のデータ分布の支持外にある構造上の矛盾のある幻覚サンプルを生成する。 本稿では,事前に決められた方向に沿ってのみスコア関数を選択的に研ぎ澄まし,幻覚を緩和する動的誘導法を提案する。 私たちの知る限り、これはポストホックフィルタリングではなく、世代毎の幻覚に対処する最初のアプローチである。
  論文  参考訳（メタデータ） (2025-10-06T20:31:13Z)
• Theoretical Foundations and Mitigation of Hallucination in Large Language Models [0.0]
  LLM(英: Hallucination in Large Language Models)とは、入力や実世界の事実に忠実でないコンテンツの生成を指す用語である。 本稿では, LLMにおける幻覚の厳密な処理について述べる。
  論文  参考訳（メタデータ） (2025-07-20T15:22:34Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• Hallucination Detection: A Probabilistic Framework Using Embeddings Distance Analysis [2.089191490381739]
  本稿では,幻覚を推論するための数学的に健全な方法論を導入し,それを利用して幻覚を検出するツールを構築する。 我々の知る限りでは、幻覚的内容が正しい内容に関して構造的な違いを持つことを示すのが最初である。 これらの構造的差異を利用して幻覚応答を検出するツールを開発し、システムパラメータの特定の構成に対して66%の精度を達成する。
  論文  参考訳（メタデータ） (2025-02-10T09:44:13Z)
• Distinguishing Ignorance from Error in LLM Hallucinations [43.62904897907926]
  モデルがパラメータに正しい答えを持たない場合、HK-と呼ばれる場合、HK+と呼ばれる必要な知識があるにもかかわらず、モデルが正しく答えない場合の2つのタイプの幻覚を区別する。 モデル固有の幻覚データセットの構築をモチベーションとし,異なるモデルが異なる例に幻覚を呈することを示す。
  論文  参考訳（メタデータ） (2024-10-29T14:31:33Z)
• Understanding Hallucinations in Diffusion Models through Mode Interpolation [89.10226585746848]
  拡散モデルにおける特定の障害モードについて検討し、これをモードモードと呼ぶ。 トレーニングセット内のデータモード間の拡散モデルを円滑に"補間"し,元のトレーニング分布の支持から完全に外れたサンプルを生成する。 幻覚が、かつて存在しなかった形の組み合わせをいかに生み出すかを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:43:41Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。