論文の概要: Chain-of-Thought Prompting Obscures Hallucination Cues in Large Language Models: An Empirical Evaluation

• arxiv url: http://arxiv.org/abs/2506.17088v1
• Date: Fri, 20 Jun 2025 15:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.515899
• Title: Chain-of-Thought Prompting Obscures Hallucination Cues in Large Language Models: An Empirical Evaluation
• Title（参考訳）: 大規模言語モデルにおける暗黙の連鎖--経験的評価
• Authors: Jiahao Cheng, Tiancheng Su, Jia Yuan, Guoxiu He, Jiawei Liu, Xinqi Tao, Jingwen Xie, Huaxia Li,
• Abstract要約: CoT(Chain-of-Thought)は、ステップバイステップ推論を奨励することによって幻覚を緩和する。 我々の研究は、推論の利用における見落とされがちなトレードオフを浮き彫りにした。
• 参考スコア（独自算出の注目度）: 4.265468175793552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) often exhibit \textit{hallucinations}, generating factually incorrect or semantically irrelevant content in response to prompts. Chain-of-Thought (CoT) prompting can mitigate hallucinations by encouraging step-by-step reasoning, but its impact on hallucination detection remains underexplored. To bridge this gap, we conduct a systematic empirical evaluation. We begin with a pilot experiment, revealing that CoT reasoning significantly affects the LLM's internal states and token probability distributions. Building on this, we evaluate the impact of various CoT prompting methods on mainstream hallucination detection methods across both instruction-tuned and reasoning-oriented LLMs. Specifically, we examine three key dimensions: changes in hallucination score distributions, variations in detection accuracy, and shifts in detection confidence. Our findings show that while CoT prompting helps reduce hallucination frequency, it also tends to obscure critical signals used for detection, impairing the effectiveness of various detection methods. Our study highlights an overlooked trade-off in the use of reasoning. Code is publicly available at: https://anonymous.4open.science/r/cot-hallu-detect.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、しばしば「textit{hallucinations}」を示し、プロンプトに応答して、事実的に誤りまたは意味的に無関係なコンテンツを生成する。 CoT(Chain-of-Thought)は、ステップバイステップの推論を促すことによって幻覚を緩和するが、その幻覚検出への影響は未解明のままである。 このギャップを埋めるために、系統的な経験的評価を行う。 実験から始め、CoT推論がLLMの内部状態とトークン確率分布に大きく影響することを明らかにする。 そこで我々は,様々なCoTプロンプト法が,命令調整と推論指向のLLMの双方にわたる主流幻覚検出方法に与える影響を評価した。 具体的には,幻覚スコア分布の変化,検出精度の変化,検出信頼度の変化の3つの重要な側面について検討する。 以上の結果から,CoTプロンプトは幻覚頻度の低下に寄与するが,検出に用いた重要な信号が不明瞭になる傾向があり,様々な検出方法の有効性を損なうことが示唆された。 我々の研究は、推論の利用における見落とされがちなトレードオフを浮き彫りにした。 コードは、https://anonymous.4open.science/r/cot-hallu-detect.comで公開されている。

関連論文リスト

• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Auditing Meta-Cognitive Hallucinations in Reasoning Large Language Models [8.97308732968526]
  本研究では,制約付き知識領域における幻覚の因果関係について,チェーン・オブ・ソート(Chain-of-Thought)の軌跡を監査することによって検討する。 我々の分析によると、長いCoT設定では、RLLMは欠陥のある反射的推論を通じてバイアスやエラーを反復的に補強することができる。 驚いたことに、幻覚の根源にある直接的な介入でさえ、その効果を覆すことができないことが多い。
  論文  参考訳（メタデータ） (2025-05-19T14:11:09Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• Can Your Uncertainty Scores Detect Hallucinated Entity? [14.432545893757677]
  本稿では,エンティティレベルで幻覚を注釈する新たなデータセットであるHaluEntityを提案する。 このデータセットに基づいて、17の近代LCMにおける不確実性に基づく幻覚検出手法を評価する。 実験の結果,個々のトークン確率に着目した不確実性推定手法は幻覚を過度に予測する傾向があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T16:01:41Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation [36.31646727970656]
  大規模言語モデル(LLM)は、しばしば幻覚を起こし、事実の誤りを引き起こす。 正しい世代は、不正な世代に比べて、コンテキスト内のトークンの隠された状態において、よりシャープなコンテキストアクティベーションを持つ傾向がある。 本研究では,テキスト内隠れ状態のシャープネス'を定量化し,デコード処理に組み込むエントロピーに基づく計量法を提案する。
  論文  参考訳（メタデータ） (2024-03-03T15:53:41Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。