論文の概要: Geometric Uncertainty for Detecting and Correcting Hallucinations in LLMs

• arxiv url: http://arxiv.org/abs/2509.13813v1
• Date: Wed, 17 Sep 2025 08:28:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.788758
• Title: Geometric Uncertainty for Detecting and Correcting Hallucinations in LLMs
• Title（参考訳）: LLMにおける幻覚の検出と修正のための幾何学的不確かさ
• Authors: Edward Phillips, Sean Wu, Soheila Molaei, Danielle Belgrave, Anshul Thakur, David Clifton,
• Abstract要約: 幻覚検出の戦略として不確かさ定量化が提案されている。 既存のブラックボックスアプローチは、大域的および局所的不確実性の両方の見積もりを提供していない。 ブラックボックスモデルアクセスのみでサンプリングされた応答のバッチの解析に基づいて,この問題に対処するための幾何学的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 4.221653547698336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models demonstrate impressive results across diverse tasks but are still known to hallucinate, generating linguistically plausible but incorrect answers to questions. Uncertainty quantification has been proposed as a strategy for hallucination detection, but no existing black-box approach provides estimates for both global and local uncertainty. The former attributes uncertainty to a batch of responses, while the latter attributes uncertainty to individual responses. Current local methods typically rely on white-box access to internal model states, whilst black-box methods only provide global uncertainty estimates. We introduce a geometric framework to address this, based on archetypal analysis of batches of responses sampled with only black-box model access. At the global level, we propose Geometric Volume, which measures the convex hull volume of archetypes derived from response embeddings. At the local level, we propose Geometric Suspicion, which ranks responses by reliability and enables hallucination reduction through preferential response selection. Unlike prior dispersion methods which yield only a single global score, our approach provides semantic boundary points which have utility for attributing reliability to individual responses. Experiments show that our framework performs comparably to or better than prior methods on short form question-answering datasets, and achieves superior results on medical datasets where hallucinations carry particularly critical risks. We also provide theoretical justification by proving a link between convex hull volume and entropy.
• Abstract（参考訳）: 大きな言語モデルは様々なタスクにまたがって印象的な結果を示すが、まだ幻覚を生じさせることが知られており、言語学的に妥当だが質問に対する誤った回答を生成する。 不確かさの定量化は幻覚検出の戦略として提案されているが、既存のブラックボックスアプローチでは、グローバルな不確実性とローカルな不確実性の両方の見積もりを提供していない。 前者は応答のバッチに対する不確実性、後者は個々の応答に対する不確実性である。 現在のローカルメソッドは通常、内部モデル状態へのホワイトボックスアクセスに依存し、ブラックボックスメソッドはグローバルな不確実性評価のみを提供する。 ブラックボックスモデルアクセスのみでサンプリングされた応答のバッチの解析に基づいて,この問題に対処するための幾何学的枠組みを提案する。 グローバルレベルでは,応答埋め込みから導かれるアーチタイプの凸殻体積を測定する幾何学的ボリュームを提案する。 局所的なレベルでは,応答を信頼性でランク付けし,優先的な応答選択による幻覚の低減を可能にする幾何学的サスペクションを提案する。 1つのグローバルスコアしか得られない先行分散法とは異なり、我々の手法は個々の応答に信頼性をもたらすための有用性を持つセマンティック境界点を提供する。 実験により,本フレームワークは,短時間の質問応答データセットにおいて,従来の手法と同等以上の性能を示し,幻覚が特に重大なリスクを負う医療データセットにおいて優れた結果が得られた。 また, 凸体体積とエントロピーの関係を証明し, 理論的正当性を示す。

関連論文リスト

• Semantic Energy: Detecting LLM Hallucination Beyond Entropy [106.92072182161712]
  大規模言語モデル(LLM)は、現実のアプリケーションにますますデプロイされているが、幻覚の影響を受けやすいままである。 不確実性推定は、そのような幻覚を検出するための実現可能なアプローチである。 本稿では,新しい不確実性推定フレームワークであるセマンティック・エナジーを紹介する。
  論文  参考訳（メタデータ） (2025-08-20T07:33:50Z)
• Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models [0.0]
  本稿では, 忠実な幻覚を検出するための新しい枠組みであるセマンティック・ディバージェンス・メトリックス(SDM)を紹介する。 プロンプトと応答間のトピック共起のヒートマップは、ユーザとマシンの対話の定量的な2次元可視化と見なすことができる。
  論文  参考訳（メタデータ） (2025-08-13T20:55:26Z)
• HalluCounter: Reference-free LLM Hallucination Detection in the Wild! [6.5037356041929675]
  HalluCounterは、応答応答とクエリ応答の整合性とアライメントパターンの両方を利用する参照なし幻覚検出手法である。 我々の手法は最先端の手法よりもかなり優れており、データセット間での幻覚検出における平均信頼度は90%を超えている。
  論文  参考訳（メタデータ） (2025-03-06T16:59:18Z)
• DiverseAgentEntropy: Quantifying Black-Box LLM Uncertainty through Diverse Perspectives and Multi-Agent Interaction [53.803276766404494]
  モデルの不確実性を評価する既存の手法は、元のクエリに対する自己整合性を評価することで、必ずしも真の不確実性を把握するわけではない。 マルチエージェントインタラクションを用いたモデルの不確実性評価のための新しい手法であるDiverseAgentEntropyを提案する。 提案手法は,モデルの信頼性をより正確に予測し,さらに幻覚を検知し,他の自己整合性に基づく手法よりも優れる。
  論文  参考訳（メタデータ） (2024-12-12T18:52:40Z)
• To Believe or Not to Believe Your LLM [51.2579827761899]
  大規模言語モデル(LLM)における不確実性定量化について検討する。 疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。 定式化の利点を実証する一連の実験を行う。
  論文  参考訳（メタデータ） (2024-06-04T17:58:18Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。