論文の概要: From Out-of-Distribution Detection to Hallucination Detection: A Geometric View
- arxiv url: http://arxiv.org/abs/2602.07253v1
- Date: Fri, 06 Feb 2026 23:05:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:24.528239
- Title: From Out-of-Distribution Detection to Hallucination Detection: A Geometric View
- Title(参考訳): 分布外検出から幻覚検出へ:幾何学的視点
- Authors: Litian Liu, Reza Pourreza, Yubing Jian, Yao Qin, Roland Memisevic,
- Abstract要約: 本研究は,アウト・オブ・ディストリビューション(OOD)検出レンズによる幻覚検出を再考する。
言語モデルにおける次トーケン予測を分類タスクとして扱うことにより,OOD手法の適用が可能となる。
OODをベースとしたアプローチはトレーニング不要で単一サンプルベースの検出器となり、推論タスクの幻覚検出において高い精度が得られることを示す。
- 参考スコア(独自算出の注目度): 11.026648707364402
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting hallucinations in large language models is a critical open problem with significant implications for safety and reliability. While existing hallucination detection methods achieve strong performance in question-answering tasks, they remain less effective on tasks requiring reasoning. In this work, we revisit hallucination detection through the lens of out-of-distribution (OOD) detection, a well-studied problem in areas like computer vision. Treating next-token prediction in language models as a classification task allows us to apply OOD techniques, provided appropriate modifications are made to account for the structural differences in large language models. We show that OOD-based approaches yield training-free, single-sample-based detectors, achieving strong accuracy in hallucination detection for reasoning tasks. Overall, our work suggests that reframing hallucination detection as OOD detection provides a promising and scalable pathway toward language model safety.
- Abstract(参考訳): 大きな言語モデルにおける幻覚の検出は、安全性と信頼性に重要な意味を持つ重要なオープンな問題である。
既存の幻覚検出手法は質問応答タスクでは高い性能を発揮するが、推論を必要とするタスクでは効果が低いままである。
本研究では,コンピュータビジョンなどの領域におけるよく研究された問題であるOOD(out-of-distribution)検出のレンズによる幻覚検出を再検討する。
大規模言語モデルにおける構造的差異を考慮に入れた適切な修正を行った場合、言語モデルにおける次トーケン予測を分類タスクとして扱うことで、OOD技術の適用が可能となる。
OODをベースとしたアプローチはトレーニング不要で単一サンプルベースの検出器となり、推論タスクの幻覚検出において高い精度が得られることを示す。
全体として、OOD検出としての幻覚検出は、言語モデルの安全性への有望かつスケーラブルな経路を提供することを示している。
関連論文リスト
- ICR Probe: Tracking Hidden State Dynamics for Reliable Hallucination Detection in LLMs [50.18087419133284]
隠れた状態を活用する幻覚検出法は、主に静的および孤立した表現に焦点を当てている。
隠れ状態の更新に対するモジュールの寄与を定量化する新しいメトリック ICR Score を導入する。
本稿では,隠れ状態の層間進化を捉えた幻覚検出手法 ICR Probe を提案する。
論文 参考訳(メタデータ) (2025-07-22T11:44:26Z) - Learning Auxiliary Tasks Improves Reference-Free Hallucination Detection in Open-Domain Long-Form Generation [78.78421340836915]
オープンドメイン長文応答における参照なし幻覚検出を系統的に検討する。
その結果,内的状態は事実と幻覚的内容とを確実に区別するには不十分であることが判明した。
RATE-FTと呼ばれる新しいパラダイムを導入し、モデルが幻覚検出のメインタスクと共同で学習するための補助的なタスクで微調整を強化する。
論文 参考訳(メタデータ) (2025-05-18T07:10:03Z) - KSHSeek: Data-Driven Approaches to Mitigating and Detecting Knowledge-Shortcut Hallucinations in Generative Models [17.435794516702256]
大規模言語モデル(LLM)は自然言語処理(NLP)の開発に大きく進歩している。
モデル幻覚は、複雑な原因のため、自然言語生成(NLG)タスクにおいて依然として大きな課題である。
この研究は、生成モデルにおける特定の幻覚の問題を緩和し、実世界のアプリケーションにおけるその堅牢性と信頼性を高めるための新しいパラダイムを導入する。
論文 参考訳(メタデータ) (2025-03-25T09:18:27Z) - REFIND at SemEval-2025 Task 3: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models [15.380441563675243]
REFIND(Retrieval-augmented Factuality Hallucination Detection)は、大規模言語モデル(LLM)出力内の幻覚スパンを検出する新しいフレームワークである。
本研究では,LLM出力の感度を定量的に評価する新しい指標であるコンテキスト感度比(CSR)を提案する。
REFINDは低リソース設定を含む9つの言語で堅牢性を示し、ベースラインモデルではかなり優れていた。
論文 参考訳(メタデータ) (2025-02-19T10:59:05Z) - HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
本稿では,HuDExと命名された幻覚検出モデルについて説明する。
提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
論文 参考訳(メタデータ) (2025-02-12T04:17:02Z) - Exploring Large Language Models for Multi-Modal Out-of-Distribution
Detection [67.68030805755679]
大きな言語モデル(LLM)は豊富な世界の知識をエンコードし、クラスごとに記述的な特徴を生成するよう促すことができる。
本稿では,LLMの選択的生成によるOOD検出性能向上のための世界知識の適用を提案する。
論文 参考訳(メタデータ) (2023-10-12T04:14:28Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳(メタデータ) (2023-10-10T10:14:59Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳(メタデータ) (2023-06-06T14:23:34Z) - Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for
Out-of-Domain Detection [28.810524375810736]
アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。
事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。
距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
論文 参考訳(メタデータ) (2023-05-22T17:42:44Z) - Rainproof: An Umbrella To Shield Text Generators From
Out-Of-Distribution Data [41.62897997865578]
安全なシステム動作を保証するための重要な要素は、Out-Of-Distribution Detectionである。
ほとんどのメソッドはエンコーダが出力する隠れた機能に依存している。
本研究では,ブラックボックスフレームワークにおけるソフト確率の活用に焦点をあてる。
論文 参考訳(メタデータ) (2022-12-18T21:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。