論文の概要: Mitigating Factual Hallucination in Large Reasoning Models via Mixed-Mode Advantage Regularization

• arxiv url: http://arxiv.org/abs/2607.05861v1
• Date: Tue, 07 Jul 2026 05:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.405334
• Title: Mitigating Factual Hallucination in Large Reasoning Models via Mixed-Mode Advantage Regularization
• Title（参考訳）: 混合モードアドバンテージ規則化による大規模共振モデルにおけるファクトハロシン化の緩和
• Abstract要約: 事実指向の質問応答(QA)では、明示的な思考は、モデルが関連する知識を回復し、その答えを洗練させることによって、全体的なパフォーマンスを改善する。 我々は,非思考的なロールアウトをモデル参照として活用する強化学習フレームワークであるMARGOを提案する。
• 参考スコア（独自算出の注目度）: 47.64132795594338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models (LRMs) improve language model capabilities by generating explicit thinking traces before final answers. In factuality-oriented question answering (QA), such thinking often improves overall performance by helping the model recover relevant knowledge and refine its answers. However, we find that this benefit is not uniform at the instance level: explicit thinking can also overturn correct non-thinking answers and lead to factual drift. We refer to this failure mode as \emph{thinking-induced hallucination}. To explain this phenomenon, we formulate explicit thinking in factuality QA as a thinking residual over the model's direct-answer tendency, which can either recover missing knowledge or introduce unsupported associations. Based on this formulation, we propose MARGO, \underline{\textit{M}}ixed-Mode \underline{\textit{A}}dvantage \underline{\textit{R}}egularization for \underline{\textit{G}}rounded \underline{\textit{O}}ptimization, a reinforcement learning framework that uses non-thinking rollouts as same-model references in advantage estimation. By constructing mixed-mode rollout groups with both thinking and non-thinking trajectories, MARGO evaluates whether explicit thinking adds factual value beyond direct answering, thereby suppressing hallucination-prone thinking while preserving beneficial thinking behaviors. Experiments across multiple factuality-oriented QA benchmarks demonstrate that MARGO improves factual reliability over strong baselines, while evaluations on mathematical benchmarks show that it preserves general reasoning ability.
• Abstract（参考訳）: 大きな推論モデル(LRM)は、最終回答の前に明確な思考トレースを生成することで言語モデル機能を改善する。 事実性指向の質問応答(QA)では、モデルが関連する知識を回復し、その答えを洗練させることによって、このような思考が全体的なパフォーマンスを改善することがしばしばある。 しかし、この利点はインスタンスレベルでは均一ではなく、明示的な思考は正しい非思考の答えを覆し、事実のドリフトにつながる可能性がある。 この障害モードを 'emph{thinking-induced Hallucination} と呼ぶ。 この現象を説明するために,本論文では,知識の欠如を回復させるか,支援団体を導入することができる,モデルの直接回答傾向に対する思考残差として,事実性QAの明示的な思考を定式化する。 本稿では,MARGO, \underline{\textit{M}}ixed-Mode \underline{\textit{A}}dvantage \underline{\textit{R}}egularization for \underline{\textit{G}}rounded \underline{\textit{O}}ptimizationを提案する。 MARGOは、思考と非思考の両方の軌跡を持つ混合モードのロールアウトグループを構築することにより、明示的思考が直接回答以上の事実価値を付加するか否かを評価し、有益な思考行動を維持しながら幻覚を誘発する思考を抑制する。 複数の事実指向QAベンチマークによる実験では、MARGOは強いベースラインよりも事実の信頼性を向上させる一方、数学的なベンチマークでは、一般的な推論能力を維持することが示されている。

関連論文リスト

• Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs [46.40763822929566]
  思考と非思考のインターフェースが許容される最終応答行動を維持するか否かを考察する。 PatternEvalは、チェーン・オブ・インプリート・リーク、レスポンスの繰り返し、論理的矛盾、パフォーマンス的推論の4つの繰り返し障害をテストする。 我々は、レスポンシブレベルの報酬モデルである textbfPatternRM と、強化学習中にパターン固有の罰則を導入する textbfPatternRL を開発した。
  論文  参考訳（メタデータ） (2026-08-13T03:44:45Z)
• Thinking Past the Answer: Evaluating Harmful Overthinking in Large Reasoning Models [38.84286306535778]
  第1の正しい接頭辞の停止は、標準的推論よりも21%の精度向上を示す。 早期停止のような一般的な効率戦略は、冗長な過度な考えを著しく減らすが、有害な過度な過度な考えを軽減できない。 我々の研究結果は言語のみの推論ベンチマークに一般化され、より広範な信頼性リスクとして有害な過ちを浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-06-01T19:59:27Z)
• Recursive Think-Answer Process for LLMs and VLMs [54.52289112197118]
  R-TAP(Recursive Think-Answer Process)を提案する。 R-TAPにより、モデルは反復的推論サイクルに参加し、より正確な答えを生成することができる。 R-TAP強化モデルが従来のシングルパス法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-03-02T17:20:10Z)
• Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning [62.680551162054975]
  我々はLLMが動的要約によって推論ステップの粒度を自己制御することを学ぶエンドツーエンドのフレームワークを紹介した。 高い効率のFoldモードと徹底的なUnfoldモードの精度ギャップを徐々に狭めていくという重要な知見を見出し,この能力をさらにインセンティブ化するために強化学習を適用した。 私たちのAccordion-Thinkerは、学習した自己圧縮により、LLMは依存性トークンのオーバーヘッドを最小限に抑えながら複雑な推論タスクに取り組むことができることを示した。
  論文  参考訳（メタデータ） (2026-02-03T08:34:20Z)
• CTRL-RAG: Contrastive Likelihood Reward Based Reinforcement Learning for Context-Faithful RAG Models [29.703793991791674]
  既存のRAG指向強化学習法は、文書の忠実さを評価するのにしばしば失敗する外部報酬に依存している。 コントラッシブ・ライリフッド・リワード(CLR)を中心とした新たな「内外的」ハイブリッド報酬枠組を提案する。 CLRは、エビデンスをサポートしないプロンプトで条件付けられたレスポンス間のログライクなギャップを直接最適化する。
  論文  参考訳（メタデータ） (2026-02-02T12:21:59Z)
• MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models [43.872922223495586]
  大きな推論モデル(LRM)は複雑な推論において強い能力を示すが、証拠に依存した事実問題に対する限界的な利得は限られている。 この制限は、モデルが推論中に正しい事実を識別するが、最終的な応答にそれらを組み込むことができない、推論と問合せのギャップに起因する。 本稿では,外部検証に頼らずに事実性を高めるフレームワークMR-ALIGNを提案する。
  論文  参考訳（メタデータ） (2025-10-27T15:00:54Z)
• Does Thinking More always Help? Mirage of Test-Time Scaling in Reasoning Models [130.5487886246353]
  Wait"や"Let me rethink"といったプロンプトを使って思考トレースを拡張することで、パフォーマンスが向上します。 テスト時にもっと考えることは、本当により良い推論につながるのでしょうか? 過度に考える”という理由から,新たな思考による初期パフォーマンス改善の一貫したパターンと,それに続く低下を示す。
  論文  参考訳（メタデータ） (2025-06-04T17:55:09Z)
• Let LRMs Break Free from Overthinking via Self-Braking Tuning [68.93713497579853]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• Language Models with Rationality [57.37201135072838]
  大規模言語モデル(LLM)は質問応答(QA)に熟練している 答えが潜んでいる「信条」からどのように従うか(あるいはたとえも)は必ずしも明確ではない。
  論文  参考訳（メタデータ） (2023-05-23T17:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。