論文の概要: MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2510.24794v1
• Date: Mon, 27 Oct 2025 15:00:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.49764
• Title: MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models
• Title（参考訳）: MR-Align:大規模共振モデルのためのメタ共振インフォームド・ファクタリティアライメント
• Authors: Xinming Wang, Jian Xu, Bin Yu, Sheng Lian, Hongzhu Yi, Yi Chen, Yingjian Zhu, Boran Wang, Hongming Yang, Han Hu, Xu-Yao Zhang, Cheng-Lin Liu,
• Abstract要約: 大きな推論モデル(LRM)は複雑な推論において強い能力を示すが、証拠に依存した事実問題に対する限界的な利得は限られている。 この制限は、モデルが推論中に正しい事実を識別するが、最終的な応答にそれらを組み込むことができない、推論と問合せのギャップに起因する。 本稿では,外部検証に頼らずに事実性を高めるフレームワークMR-ALIGNを提案する。
• 参考スコア（独自算出の注目度）: 43.872922223495586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large reasoning models (LRMs) show strong capabilities in complex reasoning, yet their marginal gains on evidence-dependent factual questions are limited. We find this limitation is partially attributable to a reasoning-answer hit gap, where the model identifies the correct facts during reasoning but fails to incorporate them into the final response, thereby reducing factual fidelity. To address this issue, we propose MR-ALIGN, a Meta-Reasoning informed alignment framework that enhances factuality without relying on external verifiers. MR-ALIGN quantifies state transition probabilities along the model's thinking process and constructs a transition-aware implicit reward that reinforces beneficial reasoning patterns while suppressing defective ones at the atomic thinking segments. This re-weighting reshapes token-level signals into probability-aware segment scores, encouraging coherent reasoning trajectories that are more conducive to factual correctness. Empirical evaluations across four factual QA datasets and one long-form factuality benchmark show that MR-ALIGN consistently improves accuracy and truthfulness while reducing misleading reasoning. These results highlight that aligning the reasoning process itself, rather than merely the outputs, is pivotal for advancing factuality in LRMs.
• Abstract（参考訳）: 大きな推論モデル(LRM)は複雑な推論において強い能力を示すが、証拠に依存した事実問題に対する限界的な利得は限られている。 この制限は、推論中に正しい事実を識別するが、最終的な応答にそれらを組み込むことができず、結果として事実の忠実さが低下する、推論のヒットギャップに起因する。 本稿では,外部検証に頼らずに事実性を高めるメタ推論情報アライメントフレームワークMR-ALIGNを提案する。 MR-ALIGNは、モデル思考過程に沿った状態遷移確率を定量化し、原子思考セグメントの欠陥を抑えながら有益な推論パターンを補強する遷移認識型暗黙の報酬を構築する。 この重み付けは、トークンレベルの信号を確率認識セグメントスコアに再設定し、事実の正しさをより導出するコヒーレントな推論軌道を奨励する。 4つの事実的QAデータセットと1つの長期的事実性ベンチマークによる実証的な評価は、MR-ALIGNが誤った推論を減らしながら、常に正確さと真実性を改善することを示している。 これらの結果は、単なる出力ではなく、推論プロセス自体を整列させることが、LRMにおける事実性の推進に重要であることを強調している。

関連論文リスト

• Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning [30.302863491794543]
  Process Reward Models (PRM) は、最終回答に向けてステップバイステップの推論を導くことを目的としている。 既存のPRMは、ステップ間の依存関係をキャプチャしたり、プロセスの報酬を最終的な結果と整合させるのに失敗します。 本稿では,時間的プロセスとして推論をフレーム化して正解を導く条件付きリワードモデリングを提案する。
  論文  参考訳（メタデータ） (2025-09-30T17:38:45Z)
• Reasoning or Retrieval? A Study of Answer Attribution on Large Reasoning Models [15.797612515648412]
  大きな推論モデル (LRMs) は、Chain-of-Thought (CoT) 推論を通じて複雑な問題を解く際、前例のない能力を示す。 最近の研究では、彼らの最後の答えは、しばしば彼ら自身の推論の痕跡と矛盾していることが明らかになっている。 この矛盾は、CoT推論とメモリ検索という2つの競合メカニズムに起因していると仮定する。 本稿では,メモリアンラーニングと強化学習を統合したファインチューニングフレームワークFARLを紹介する。
  論文  参考訳（メタデータ） (2025-09-29T01:13:33Z)
• Lost at the Beginning of Reasoning [85.17612793300238]
  第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。 本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:53:57Z)
• Truthful or Fabricated? Using Causal Attribution to Mitigate Reward Hacking in Explanations [30.68740512996253]
  思考の連鎖の説明は、大きな言語モデルの決定過程を調べるために広く使われている。 これらの説明の忠実さを必然的に低減することができることを示す。
  論文  参考訳（メタデータ） (2025-04-07T17:49:23Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。