論文の概要: Detection and Mitigation of Hallucination in Large Reasoning Models: A Mechanistic Perspective

• arxiv url: http://arxiv.org/abs/2505.12886v1
• Date: Mon, 19 May 2025 09:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.507655
• Title: Detection and Mitigation of Hallucination in Large Reasoning Models: A Mechanistic Perspective
• Title（参考訳）: 大規模推論モデルにおける幻覚の検出と緩和:力学的視点
• Authors: Zhongxiang Sun, Qipeng Wang, Haoyu Wang, Xiao Zhang, Jun Xu,
• Abstract要約: 推論の幻覚は論理的に一貫性があるが、事実的に誤った推論トレースである。 これらのエラーは構造化推論に埋め込まれており、検出が難しく、潜在的に有害である可能性がある。 本稿では,ロジット間のばらつきを測定することによって推論の深さを定量化するReasoning Scoreを提案する。 また,ステップレベルの深い推論報酬をポテンシャルベース形状に組み込んだ強化強化学習アルゴリズムGRPO-Rを導入する。
• 参考スコア（独自算出の注目度）: 11.013059864022667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) have shown impressive capabilities in multi-step reasoning tasks. However, alongside these successes, a more deceptive form of model error has emerged--Reasoning Hallucination--where logically coherent but factually incorrect reasoning traces lead to persuasive yet faulty conclusions. Unlike traditional hallucinations, these errors are embedded within structured reasoning, making them more difficult to detect and potentially more harmful. In this work, we investigate reasoning hallucinations from a mechanistic perspective. We propose the Reasoning Score, which quantifies the depth of reasoning by measuring the divergence between logits obtained from projecting late layers of LRMs to the vocabulary space, effectively distinguishing shallow pattern-matching from genuine deep reasoning. Using this score, we conduct an in-depth analysis on the ReTruthQA dataset and identify two key reasoning hallucination patterns: early-stage fluctuation in reasoning depth and incorrect backtracking to flawed prior steps. These insights motivate our Reasoning Hallucination Detection (RHD) framework, which achieves state-of-the-art performance across multiple domains. To mitigate reasoning hallucinations, we further introduce GRPO-R, an enhanced reinforcement learning algorithm that incorporates step-level deep reasoning rewards via potential-based shaping. Our theoretical analysis establishes stronger generalization guarantees, and experiments demonstrate improved reasoning quality and reduced hallucination rates.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、多段階推論タスクにおいて印象的な機能を示している。 しかし、これらの成功と並行して、モデルエラーのより偽装的な形式が出現し、論理的に一貫性があるが、事実的に誤った推論の痕跡は説得力のあるが、誤った結論をもたらす。 従来の幻覚とは異なり、これらの誤りは構造化された推論の中に埋め込まれており、検出が難しく、潜在的に有害である可能性がある。 本研究では,機械的観点からの幻覚の推論について検討する。 本稿では,LRMの後期層から語彙空間への射影から得られるロジットのばらつきを計測することにより,推論の深さを定量化するReasoning Scoreを提案し,真深部推論と浅部パターンマッチングを効果的に区別する。 このスコアを用いて、ReTruthQAデータセットの詳細な分析を行い、2つの主要な推論幻覚パターンを同定する。 これらの知見は、複数のドメインにわたる最先端のパフォーマンスを実現するReasoning Hallucination Detection (RHD)フレームワークを動機付けます。 推論幻覚を緩和するために,我々はさらに,ステップレベルの深い推論報酬をポテンシャルベースのシェーピングを通じて組み込んだ強化学習アルゴリズムGRPO-Rを導入する。 理論解析により,より強い一般化保証が確立され,推論品質の向上と幻覚率の低下が実証された。

関連論文リスト

• Auditing Meta-Cognitive Hallucinations in Reasoning Large Language Models [8.97308732968526]
  本研究では,制約付き知識領域における幻覚の因果関係について,チェーン・オブ・ソート(Chain-of-Thought)の軌跡を監査することによって検討する。 我々の分析によると、長いCoT設定では、RLLMは欠陥のある反射的推論を通じてバイアスやエラーを反復的に補強することができる。 驚いたことに、幻覚の根源にある直接的な介入でさえ、その効果を覆すことができないことが多い。
  論文  参考訳（メタデータ） (2025-05-19T14:11:09Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• Delusions of Large Language Models [62.43923767408462]
  大規模言語モデルは、しばしば幻覚として知られる、事実的に間違っているが、もっともらしい出力を生成する。 高信頼幻覚と定義され、不正確な出力を異常に高い信頼性で検出し、緩和することが難しくなる、より惨めな現象であるLSM妄想を識別する。
  論文  参考訳（メタデータ） (2025-03-09T17:59:16Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences [5.141416267381492]
  我々は、論理学と認知心理学において広範囲に研究されている誘因的推論の領域であるシロメトリクス推論の事例を考察する。 思考の連鎖的推論,文脈内学習,教師付き微調整がシロメトリクス的推論に及ぼす影響について検討した。 以上の結果から,事前学習したLSMの行動は認知科学によって説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-17T08:59:04Z)
• In-Context Sharpness as Alerts: An Inner Representation Perspective for Hallucination Mitigation [36.31646727970656]
  大規模言語モデル(LLM)は、しばしば幻覚を起こし、事実の誤りを引き起こす。 正しい世代は、不正な世代に比べて、コンテキスト内のトークンの隠された状態において、よりシャープなコンテキストアクティベーションを持つ傾向がある。 本研究では,テキスト内隠れ状態のシャープネス'を定量化し,デコード処理に組み込むエントロピーに基づく計量法を提案する。
  論文  参考訳（メタデータ） (2024-03-03T15:53:41Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。