論文の概要: PHRBench: A Behavioral Evaluation of Post-Hallucination Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2610.10455v1
• Date: Wed, 07 Oct 2026 17:25:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.074209
• Title: PHRBench: A Behavioral Evaluation of Post-Hallucination Reasoning in LLMs
• Title（参考訳）: PHRBench: LLMにおける幻覚後推論の行動評価
• Abstract要約: PHRBenchは,ハロゲン化後推論の行動構造化のためのベンチマークである。 PHRBenchは、幻覚コンプライアンス、幻覚回避、ヒューリスティック補正による最終回答の正確性とは無関係に、それぞれの推論軌跡を特徴付けている。 回復が成功することは比較的稀であり、推論の軌道に沿って、より頻繁な信念の更新に結びついていることが判明した。
• 参考スコア（独自算出の注目度）: 17.909504653699564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucinated information can propagate through multi-stage LLM systems and become part of the context for subsequent reasoning. Existing studies of post-hallucination reasoning (PHR) mainly characterize changes in final outcomes and aggregate reasoning dynamics, leaving how models resolve hallucinated premises at the response level insufficiently understood. In this work, we introduce PHRBench, a controlled benchmark for behaviorally structured PHR across four domains and 18 large language models. PHRBench characterizes each reasoning trajectory independently of final-answer correctness through Hallucination Compliance, Hallucination Avoidance, and Heuristic Correction, and defines an insightful trajectory as successful correction that ultimately reaches the correct answer. Across 4820 controlled instances, we find that successful recovery remains relatively rare and is associated with more frequent belief updates along the reasoning trajectory. We further find that properties of the hallucinated prompt contain substantial predictive signal for successful recovery, with a lightweight predictor achieving an AUROC of 0.847. These findings provide a behavioral view of post-hallucination reasoning, characterizing how LLMs resolve erroneous context and when successful recovery is likely to occur.
• Abstract（参考訳）: 有能な情報は多段階LLMシステムを通して伝播し、その後の推論の文脈の一部となる。 PHR(Post-hallucination reasoning)の既存の研究は、最終結果の変化と集合的推論のダイナミクスを主に特徴付け、モデルが応答レベルで幻覚的前提をどう解決するかを十分に理解していないままにしている。 本研究では,4つのドメインと18の大規模言語モデルを対象とした行動構造化PHRのベンチマークであるPHRBenchを紹介する。 PHRBenchは、Halucination Compliance、Halucination Avoidance、Huristic Correctionを通じて、最終回答の正確性とは無関係に各推論軌跡を特徴付け、最終的に正解に達するための正解として洞察に富んだ軌跡を定義する。 4820の制御例では, 回復は比較的稀であり, 推理軌道に沿って, より頻繁な信念更新と関連していることがわかった。 さらに,ハロゲン化プロンプトの特性には,AUROCの0.847を達成できる軽量な予測器が組み込まれている。 これらの知見は、LLMが誤った文脈をどう解決し、いつ回復が成功するかを特徴付ける、幻覚後推論の行動的視点を提供する。

関連論文リスト

• Hallucination Detection-Guided Preference Optimization for Clinical Summarization [16.75280184390529]
  幻覚は、専門の医療応用における信頼性を制限する、サポートされていない、または誤った声明である。 本稿では,幻覚検出装置を利用した実写修正に向けての要約リビジョンを導出する推測時間手法であるHDSRを紹介する。 そこで我々は,HDSR for Preference Learning (HDSR-PL)を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:24:26Z)
• Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models [0.0]
  本研究では,大規模言語モデルにおける幻覚の検出と緩和のための新しいアプローチである,対物探索を提案する。 提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。
  論文  参考訳（メタデータ） (2025-08-03T17:29:48Z)
• Reasoning Models Hallucinate More: Factuality-Aware Reinforcement Learning for Large Reasoning Models [83.24079543652253]
  大規模言語モデル(LLM)は、強化学習(RL)最適化を通じて、推論タスクにおいて著しく進歩している。 しかし、推論指向RL微調整は幻覚の頻度を著しく高めている。 本稿では,明示的事実性検証を取り入れた革新的なRL微調整アルゴリズムであるFSPOを提案する。
  論文  参考訳（メタデータ） (2025-05-30T14:23:32Z)
• Auditing Meta-Cognitive Hallucinations in Reasoning Large Language Models [12.747507415841168]
  本研究では,制約付き知識領域における幻覚の因果関係について,チェーン・オブ・ソート(Chain-of-Thought)の軌跡を監査することによって検討する。 我々の分析によると、長いCoT設定では、RLLMは欠陥のある反射的推論を通じてバイアスやエラーを反復的に補強することができる。 驚いたことに、幻覚の原因の直接的な介入でさえも、連鎖が「連鎖不規則性」を示すため、その効果を覆すことができないことが多い。
  論文  参考訳（メタデータ） (2025-05-19T14:11:09Z)
• Detection and Mitigation of Hallucination in Large Reasoning Models: A Mechanistic Perspective [11.013059864022667]
  推論の幻覚は論理的に一貫性があるが、事実的に誤った推論トレースである。 これらのエラーは構造化推論に埋め込まれており、検出が難しく、潜在的に有害である可能性がある。 本稿では,ロジット間のばらつきを測定することによって推論の深さを定量化するReasoning Scoreを提案する。 また,ステップレベルの深い推論報酬をポテンシャルベース形状に組み込んだ強化強化学習アルゴリズムGRPO-Rを導入する。
  論文  参考訳（メタデータ） (2025-05-19T09:16:40Z)
• Triggering Hallucinations in LLMs: A Quantitative Study of Prompt-Induced Hallucination in Large Language Models [0.0]
  大規模言語モデル(LLM)における幻覚は、現実世界のアプリケーションにまたがる課題が増えていることを示している。 幻覚を系統的に引き起こし定量化するプロンプトベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T14:33:47Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。