Fugu-MT 論文翻訳(概要): Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models

論文の概要: Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models

arxiv url: http://arxiv.org/abs/2508.01862v1
Date: Sun, 03 Aug 2025 17:29:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-05 18:25:22.094792
Title: Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models
Title（参考訳）: 大規模言語モデルにおける幻覚検出と緩和のための因果探索
Authors: Yijun Feng,
Abstract要約: 本研究では,大規模言語モデルにおける幻覚の検出と緩和のための新しいアプローチである,対物探索を提案する。提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models have demonstrated remarkable capabilities across diverse tasks, yet they frequently generate hallucinations outputs that are fluent but factually incorrect or unsupported. We propose Counterfactual Probing, a novel approach for detecting and mitigating hallucinations in LLM outputs. Our method dynamically generates counterfactual statements that appear plausible but contain subtle factual errors, then evaluates the model's sensitivity to these perturbations. We hypothesize that genuine knowledge exhibits robustness to counterfactual variations, while hallucinated content shows inconsistent confidence patterns when confronted with plausible alternatives. Our comprehensive evaluation on TruthfulQA, factual statement datasets, and curated hallucination examples demonstrates that counterfactual probing achieves superior detection performance compared to baseline methods, while our adaptive mitigation strategies reduce hallucination scores by an average of 24.5%. The approach requires no model retraining and can be integrated into existing LLM pipelines as a realtime verification mechanism.
Abstract（参考訳）: 大規模言語モデルは、様々なタスクにまたがって顕著な能力を示してきたが、しばしば、流動性があるが実際には正しくない、あるいはサポートされていない幻覚の出力を生成する。 LLM出力の幻覚を検知・緩和する新しい手法であるCounterfactual Probingを提案する。提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。我々は、真の知識が反事実的変動に対して堅牢性を示すのに対し、幻覚的コンテンツは、妥当な代替に直面するとき、一貫性のない信頼パターンを示す、という仮説を立てた。 TruthfulQA, factual statement datasets, curated hallucination exampleに対する包括的評価は,提案手法がベースライン法よりも優れた検出性能を示したのに対し,適応緩和戦略は幻覚スコアを平均24.5%削減したことを示している。このアプローチでは、モデルの再トレーニングは不要で、リアルタイム検証メカニズムとして既存のLLMパイプラインに統合できる。

関連論文リスト

ICR Probe: Tracking Hidden State Dynamics for Reliable Hallucination Detection in LLMs [50.18087419133284]
隠れた状態を活用する幻覚検出法は、主に静的および孤立した表現に焦点を当てている。隠れ状態の更新に対するモジュールの寄与を定量化する新しいメトリック ICR Score を導入する。本稿では,隠れ状態の層間進化を捉えた幻覚検出手法 ICR Probe を提案する。
論文参考訳（メタデータ） (2025-07-22T11:44:26Z)
MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
マルチモーダル幻覚は多源性であり、様々な原因から生じる。既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
論文参考訳（メタデータ） (2025-05-30T05:54:36Z)
keepitsimple at SemEval-2025 Task 3: LLM-Uncertainty based Approach for Multilingual Hallucination Span Detection [0.0]
ブラックボックス言語モデル生成テキストにおける幻覚の特定は、現実世界の応用に不可欠である。本問題の解法は, 幻覚的スパンを特定するために, 実測的な応答のばらつきを生かしたものである。エントロピーに基づく解析により,このばらつきを計測し,幻覚部分の正確な同定を可能にする。
論文参考訳（メタデータ） (2025-05-23T05:25:14Z)
RePPL: Recalibrating Perplexity by Uncertainty in Semantic Propagation and Language Generation for Explainable QA Hallucination Detection [29.344966292751817]
幻覚は大きな言語モデルにとって重要な障害ですこれら2つの側面により不確実性の測定を補正するRePPLを提案する。提案手法は,様々なQAデータセットにまたがる最高の包括的検出性能を実現する。
論文参考訳（メタデータ） (2025-05-21T11:23:05Z)
Efficient Contrastive Decoding with Probabilistic Hallucination Detection - Mitigating Hallucinations in Large Vision Language Models - [1.2499537119440245]
効率的なコントラストデコーディング(ECD)は、確率的幻覚検出を利用して、推定時に出力分布を文脈的に正確な解へとシフトする単純な方法である。実験の結果,LCDは幻覚を効果的に軽減し,LVLMベンチマークの性能や計算時間に対して最先端の手法より優れることがわかった。
論文参考訳（メタデータ） (2025-04-16T14:50:25Z)
HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
本稿では,HuDExと命名された幻覚検出モデルについて説明する。提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
論文参考訳（メタデータ） (2025-02-12T04:17:02Z)
Enhancing Hallucination Detection through Noise Injection [9.582929634879932]
大型言語モデル(LLM)は、幻覚として知られる、もっとも不正確な応答を生成する傾向にある。ベイズ感覚のモデル不確実性を考慮し,検出精度を著しく向上できることを示す。サンプリング中にモデルパラメータの適切なサブセット、あるいは等価に隠されたユニットアクティベーションを摂動する、非常に単純で効率的なアプローチを提案する。
論文参考訳（メタデータ） (2025-02-06T06:02:20Z)
Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文参考訳（メタデータ） (2023-12-25T12:32:49Z)
A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文参考訳（メタデータ） (2023-10-10T10:14:59Z)
AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文参考訳（メタデータ） (2023-09-30T05:20:02Z)
A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。生成過程における幻覚を積極的に検出・緩和する手法を提案する。提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
論文参考訳（メタデータ） (2023-07-08T14:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。