論文の概要: Measuring the Faithfulness of Thinking Drafts in Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2505.13774v1
• Date: Mon, 19 May 2025 23:20:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.570508
• Title: Measuring the Faithfulness of Thinking Drafts in Large Reasoning Models
• Title（参考訳）: 大規模推論モデルにおける思考図面の忠実度の測定
• Authors: Zidi Xiong, Chen Shan, Zhenting Qi, Himabindu Lakkaraju,
• Abstract要約: 大規模推論モデル(LRM)は複雑な問題解決においてその能力を著しく向上させた。 本稿では,思考ドラフト忠実度を厳格に評価するための系統的対実介入フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.827106845881556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) have significantly enhanced their capabilities in complex problem-solving by introducing a thinking draft that enables multi-path Chain-of-Thought explorations before producing final answers. Ensuring the faithfulness of these intermediate reasoning processes is crucial for reliable monitoring, interpretation, and effective control. In this paper, we propose a systematic counterfactual intervention framework to rigorously evaluate thinking draft faithfulness. Our approach focuses on two complementary dimensions: (1) Intra-Draft Faithfulness, which assesses whether individual reasoning steps causally influence subsequent steps and the final draft conclusion through counterfactual step insertions; and (2) Draft-to-Answer Faithfulness, which evaluates whether final answers are logically consistent with and dependent on the thinking draft, by perturbing the draft's concluding logic. We conduct extensive experiments across six state-of-the-art LRMs. Our findings show that current LRMs demonstrate selective faithfulness to intermediate reasoning steps and frequently fail to faithfully align with the draft conclusions. These results underscore the need for more faithful and interpretable reasoning in advanced LRMs.
• Abstract（参考訳）: 大規模推論モデル (LRM) は, 最終解を出す前に複数経路の連鎖探索を可能にする思考草案を導入することにより, 複雑な問題解決におけるそれらの能力を大幅に向上させた。 これらの中間的推論プロセスの忠実性を保証することは、信頼性のある監視、解釈、効果的な制御に不可欠である。 本稿では,思考の草案忠実度を厳格に評価するための系統的対実介入フレームワークを提案する。 提案手法は,(1)個別の推論ステップが後続のステップと最終ドラフトの結論に因果的に影響を及ぼすか否かを評価する,(2)最終回答が思考ドラフトと論理的に一致しているかどうかを,ドラフトの結論論理を妨害することにより評価する,2つの相補的な側面に焦点をあてる。 我々は6つの最先端のLEMに対して広範な実験を行った。 以上の結果から,現在のLEMは中間的推論ステップに選択的に忠実であり,しばしばドラフト結論に忠実に一致しないことが示唆された。 これらの結果は、高度なLEMにおいてより忠実で解釈可能な推論の必要性を浮き彫りにした。

関連論文リスト

• ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [75.1101108949743]
  大規模推論モデル(LRM)は、Chain-of-Thought (CoT)プロンプトを介して複雑な推論タスクを強く行う。 LRMは冗長なコンテンツによる冗長なアウトプット、計算オーバーヘッドの増加、ユーザエクスペリエンスの低下に悩まされることが多い。 本稿では,推論中のモデルの信頼性を高めることによって推論チェーンを簡素化するフレームワークであるConCISEを提案する。
  論文  参考訳（メタデータ） (2025-05-08T01:40:40Z)
• The Convergent Ethics of AI? Analyzing Moral Foundation Priorities in Large Language Models with a Multi-Framework Approach [6.0972634521845475]
  本稿では,Reasoning and Intrinsic Moral Evaluation (PRIME)フレームワークについて紹介する。 PRIMEは、基本的な倫理的側面をまたいだ倫理的優先順位を分析するための包括的な方法論である。 我々はこのフレームワークを6つの主要な大規模言語モデル (LLM) に適用する。
  論文  参考訳（メタデータ） (2025-04-27T14:26:48Z)
• Efficient Inference for Large Reasoning Models: A Survey [42.61170621552432]
  LRM(Large Reasoning Models)は、Large Language Models(LLM)の推論能力を大幅に向上させる。 しかし、それらの熟考的推論プロセスはトークンの使用、メモリ消費、推論時間に非効率をもたらす。 本調査では, LRMに特化して設計された効率的な推論手法を概説し, 推論品質を維持しつつトークンの非効率を緩和することに着目した。
  論文  参考訳（メタデータ） (2025-03-29T13:27:46Z)
• Trade-offs in Large Reasoning Models: An Empirical Analysis of Deliberative and Adaptive Reasoning over Foundational Capabilities [101.77467538102924]
  近年のLRM(Large Reasoning Models)の進歩は、特殊推論タスクにおいて顕著な性能を示している。 議論的推論能力の獲得は, LRMの基礎的能力を大幅に低下させることを示す。 適応推論(Zero-Thinking, Less-Thinking, Summary-Thinking)がこれらの欠点を効果的に軽減できることを示します。
  論文  参考訳（メタデータ） (2025-03-23T08:18:51Z)
• Faithful, Unfaithful or Ambiguous? Multi-Agent Debate with Initial Stance for Summary Evaluation [29.44609627447293]
  本稿では,複数のエージェントに初期スタンスを割り当てた忠実度評価を要約する手法を提案する。 我々は、このような特殊な事例を特定するために、新しい次元、曖昧さ、詳細な分類を導入します。 実験により、我々のアプローチはあいまいさの識別に役立ち、曖昧でない要約でもより強力なパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2025-02-12T15:46:50Z)
• Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
  本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。 このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。 このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-15T02:38:26Z)
• Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
  収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-01T15:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。