Fugu-MT 論文翻訳(概要): Hallucination Detection and Evaluation of Large Language Model

論文の概要: Hallucination Detection and Evaluation of Large Language Model

arxiv url: http://arxiv.org/abs/2512.22416v1
Date: Sat, 27 Dec 2025 00:17:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-30 22:37:30.041422
Title: Hallucination Detection and Evaluation of Large Language Model
Title（参考訳）: 大規模言語モデルの幻覚検出と評価
Authors: Chenggong Zhang, Haopeng Wang,
Abstract要約: LLM(Large Language Models)における幻覚は、誤解を招くか、検証不能なコンテンツを生成するという大きな課題を引き起こす。 KnowHaluのような既存の評価手法では、マルチステージ検証を採用しているが、高い計算コストに悩まされている。これを解決するために,Hughes Hallucination Evaluation Model (HHEM) を統合した。
参考スコア（独自算出の注目度）: 0.26856688022781555
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hallucinations in Large Language Models (LLMs) pose a significant challenge, generating misleading or unverifiable content that undermines trust and reliability. Existing evaluation methods, such as KnowHalu, employ multi-stage verification but suffer from high computational costs. To address this, we integrate the Hughes Hallucination Evaluation Model (HHEM), a lightweight classification-based framework that operates independently of LLM-based judgments, significantly improving efficiency while maintaining high detection accuracy. We conduct a comparative analysis of hallucination detection methods across various LLMs, evaluating True Positive Rate (TPR), True Negative Rate (TNR), and Accuracy on question-answering (QA) and summarization tasks. Our results show that HHEM reduces evaluation time from 8 hours to 10 minutes, while HHEM with non-fabrication checking achieves the highest accuracy \(82.2\%\) and TPR \(78.9\%\). However, HHEM struggles with localized hallucinations in summarization tasks. To address this, we introduce segment-based retrieval, improving detection by verifying smaller text components. Additionally, our cumulative distribution function (CDF) analysis indicates that larger models (7B-9B parameters) generally exhibit fewer hallucinations, while intermediate-sized models show higher instability. These findings highlight the need for structured evaluation frameworks that balance computational efficiency with robust factual validation, enhancing the reliability of LLM-generated content.
Abstract（参考訳）: LLM(Large Language Models)における幻覚は、信頼と信頼性を損なう誤解を招く、あるいは検証不能なコンテンツを生成するという、大きな課題を引き起こします。 KnowHaluのような既存の評価手法では、マルチステージ検証を採用しているが、高い計算コストに悩まされている。この問題を解決するために,LLMに基づく判断とは独立して動作し,高い検出精度を維持しながら効率を大幅に向上する軽量な分類ベースフレームワークであるHughes Hallucination Evaluation Model (HHEM)を統合した。我々は,様々なLSMを対象とした幻覚検出手法の比較分析を行い,真正性率(TPR),真負性率(TNR),質問応答(QA)および要約タスクの精度を評価する。その結果、HHEMは評価時間を8時間から10分に短縮し、HHEMは非加工検査で最高精度 \(82.2\%\) とTPR \(78.9\%\) を達成した。しかし、HHEMは要約タスクの局所的な幻覚に苦しむ。これを解決するためにセグメントベースの検索を導入し、より小さなテキストコンポーネントの検証による検出を改善した。さらに, 累積分布関数 (CDF) 解析の結果, より大きなモデル (7B-9B パラメータ) では幻覚が小さく, 中間モデルでは不安定度が高いことがわかった。これらの知見は、計算効率と堅牢な事実検証をバランスさせ、LCM生成コンテンツの信頼性を高める構造化評価フレームワークの必要性を強調した。

関連論文リスト

Bolster Hallucination Detection via Prompt-Guided Data Augmentation [33.98592618879001]
本稿では,幻覚検出のためのデータ拡張として,prompt-guided Data Augmented haLlucination dEtection (PALE)を導入した。このフレームワークは、プロンプトガイダンスの下で、真理と幻覚の両方のデータを比較的低コストで生成することができる。実験では、PALEは優れた幻覚検出性能を達成し、競争ベースラインを6.55%で上回った。
論文参考訳（メタデータ） (2025-10-13T02:06:15Z)
The Illusion of Progress: Re-evaluating Hallucination Detection in LLMs [10.103648327848763]
大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、その幻覚化傾向は信頼性の高いデプロイメントに深刻な課題をもたらす。幻覚検出法は多数あるが、その評価は人間の判断と不一致した語彙的重なりに基づく尺度であるROUGEに依存することが多い。我々は,幻覚検出手法の真の性能を正確に評価するために,意味的認識と頑健な評価フレームワークの採用が不可欠であると主張している。
論文参考訳（メタデータ） (2025-08-01T20:34:01Z)
ICR Probe: Tracking Hidden State Dynamics for Reliable Hallucination Detection in LLMs [50.18087419133284]
隠れた状態を活用する幻覚検出法は、主に静的および孤立した表現に焦点を当てている。隠れ状態の更新に対するモジュールの寄与を定量化する新しいメトリック ICR Score を導入する。本稿では,隠れ状態の層間進化を捉えた幻覚検出手法 ICR Probe を提案する。
論文参考訳（メタデータ） (2025-07-22T11:44:26Z)
Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs [5.161416961439468]
本研究では,textbfClusttextbfering に基づくsemtextbfantic contextbfsisttextbfency (textbfCleanse) を用いた効果的な不確実性推定手法を提案する。 LLaMA-7B, LLaMA-13B, LLaMA2-7B, Mistral-7Bの4つの市販モデルを用いて, 幻覚検出におけるクリーンスの有効性を検証した。
論文参考訳（メタデータ） (2025-07-19T14:48:24Z)
REFIND at SemEval-2025 Task 3: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models [15.380441563675243]
REFIND(Retrieval-augmented Factuality Hallucination Detection)は、大規模言語モデル(LLM)出力内の幻覚スパンを検出する新しいフレームワークである。本研究では,LLM出力の感度を定量的に評価する新しい指標であるコンテキスト感度比(CSR)を提案する。 REFINDは低リソース設定を含む9つの言語で堅牢性を示し、ベースラインモデルではかなり優れていた。
論文参考訳（メタデータ） (2025-02-19T10:59:05Z)
HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
本稿では,HuDExと命名された幻覚検出モデルについて説明する。提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
論文参考訳（メタデータ） (2025-02-12T04:17:02Z)
VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文参考訳（メタデータ） (2024-04-22T04:49:22Z)
A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文参考訳（メタデータ） (2023-10-10T10:14:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。