論文の概要: Joint Evaluation of Answer and Reasoning Consistency for Hallucination Detection in Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2506.04832v1
• Date: Thu, 05 Jun 2025 09:54:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.645048
• Title: Joint Evaluation of Answer and Reasoning Consistency for Hallucination Detection in Large Reasoning Models
• Title（参考訳）: 大型共振モデルにおける幻覚検出のためのアンサーと共振整合性の評価
• Authors: Changyue Wang, Weihang Su, Qingyao Ai, Yiqun Liu,
• Abstract要約: トレースの推論は冗長あるいは論理的に矛盾する可能性があるため、新しい幻覚の源となる。 既存の幻覚検出法は主に回答レベルの不確実性に焦点を当てている。 LRMにおける幻覚検出に適した新しいフレームワークであるRASを提案する。
• 参考スコア（独自算出の注目度）: 12.270274049887298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Reasoning Models (LRMs) extend large language models with explicit, multi-step reasoning traces to enhance transparency and performance on complex tasks. However, these reasoning traces can be redundant or logically inconsistent, making them a new source of hallucination that is difficult to detect. Existing hallucination detection methods focus primarily on answer-level uncertainty and often fail to detect hallucinations or logical inconsistencies arising from the model's reasoning trace. This oversight is particularly problematic for LRMs, where the explicit thinking trace is not only an important support to the model's decision-making process but also a key source of potential hallucination. To this end, we propose RACE (Reasoning and Answer Consistency Evaluation), a novel framework specifically tailored for hallucination detection in LRMs. RACE operates by extracting essential reasoning steps and computing four diagnostic signals: inter-sample consistency of reasoning traces, entropy-based answer uncertainty, semantic alignment between reasoning and answers, and internal coherence of reasoning. This joint analysis enables fine-grained hallucination detection even when the final answer appears correct. Experiments across datasets and different LLMs demonstrate that RACE outperforms existing hallucination detection baselines, offering a robust and generalizable solution for evaluating LRMs. Our code is available at: https://github.com/bebr2/RACE.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、複雑なタスクにおける透明性とパフォーマンスを高めるために、明示的で多段階の推論トレースを持つ大きな言語モデルを拡張する。 しかし、これらの推論トレースは冗長あるいは論理的に矛盾する可能性があるため、検出が難しい新しい幻覚の源となる。 既存の幻覚検出法は主に解答レベルの不確実性に焦点を当てており、しばしばモデルの推論トレースから生じる幻覚や論理的不整合を検出することに失敗する。 明確な思考トレースは、モデルの決定プロセスに対する重要なサポートであるだけでなく、潜在的幻覚の重要な源でもある。 そこで本研究では,RAS(Reasoning and Answer Consistency Evaluation)を提案する。 RACEは基本的な推論ステップを抽出し、推論トレースのサンプル間一貫性、エントロピーベースの回答の不確実性、推論と回答間のセマンティックアライメント、推論の内部コヒーレンスという4つの診断信号を計算する。 この共同分析により、最終回答が正しければ、きめ細かい幻覚検出が可能となる。 データセットと異なるLLMにわたる実験により、RASは既存の幻覚検出ベースラインより優れており、LEMを評価する堅牢で一般化可能なソリューションを提供することが示された。 私たちのコードは、https://github.com/bebr2/RACE.comで利用可能です。

関連論文リスト

• The Hallucination Dilemma: Factuality-Aware Reinforcement Learning for Large Reasoning Models [63.98194996746229]
  大規模言語モデル(LLM)は、強化学習(RL)最適化を通じて、推論タスクにおいて著しく進歩している。 しかし、推論指向RL微調整は幻覚の頻度を著しく高めている。 本稿では,明示的事実性検証を取り入れた革新的なRL微調整アルゴリズムであるFSPOを提案する。
  論文  参考訳（メタデータ） (2025-05-30T14:23:32Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Are Reasoning Models More Prone to Hallucination? [70.04436965009072]
  最近進化した大推論モデル(LRM)は、長いチェーン・オブ・シークレット(CoT)推論能力を持つ複雑なタスクを解く上で、強力な性能を示している。 推論モデルは幻覚の傾向が強いか? 本稿では3つの観点からその問題に対処する。
  論文  参考訳（メタデータ） (2025-05-29T16:53:41Z)
• Auditing Meta-Cognitive Hallucinations in Reasoning Large Language Models [8.97308732968526]
  本研究では,制約付き知識領域における幻覚の因果関係について,チェーン・オブ・ソート(Chain-of-Thought)の軌跡を監査することによって検討する。 我々の分析によると、長いCoT設定では、RLLMは欠陥のある反射的推論を通じてバイアスやエラーを反復的に補強することができる。 驚いたことに、幻覚の根源にある直接的な介入でさえ、その効果を覆すことができないことが多い。
  論文  参考訳（メタデータ） (2025-05-19T14:11:09Z)
• Detection and Mitigation of Hallucination in Large Reasoning Models: A Mechanistic Perspective [11.013059864022667]
  推論の幻覚は論理的に一貫性があるが、事実的に誤った推論トレースである。 これらのエラーは構造化推論に埋め込まれており、検出が難しく、潜在的に有害である可能性がある。 本稿では,ロジット間のばらつきを測定することによって推論の深さを定量化するReasoning Scoreを提案する。 また,ステップレベルの深い推論報酬をポテンシャルベース形状に組み込んだ強化強化学習アルゴリズムGRPO-Rを導入する。
  論文  参考訳（メタデータ） (2025-05-19T09:16:40Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。