論文の概要: Rewarding Novel Deductions: Solver-guided Process Rewards for Logical Reasoning

• arxiv url: http://arxiv.org/abs/2609.34660v1
• Date: Mon, 28 Sep 2026 09:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.493758
• Title: Rewarding Novel Deductions: Solver-guided Process Rewards for Logical Reasoning
• Title（参考訳）: 論理的推論のための解法誘導法
• Abstract要約: 我々は、SPRingを提案する: (新しいLogIcal ReasoNing Step生成のためのAwerr-guided Process Rewards) SPRINGは、SMTソルバを中間推論ステップの訓練時間検証器として使用し、プロセスレベルの監視を提供する。 これは、新しい推論のステップ、すなわち論理的に妥当なステップの概念を導入し、進化する推論状態と整合する。 それは、矛盾する推論ステップと非形式的推論ステップをペナルティ化しながら、新しい推論進歩を促進するプロセス報酬を設計する。
• 参考スコア（独自算出の注目度）: 8.70173126071982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logical reasoning remains a major challenge for large language models (LLMs), particularly on structured problems that require precise constraint tracking, consistency preservation, and multi-step deduction. This challenge is especially acute for small-scale LLMs, which are more prone to producing inconsistent, redundant, or brittle reasoning trajectories. Existing approaches for improving logical reasoning largely optimize for final-answer correctness, providing only weak supervision over the intermediate reasoning process. In this work, we propose SPRING: (Solver-guided Process Rewards for Novel LogIcal ReasoNing Step Generation). SPRING uses SMT solver as a training-time verifier of intermediate reasoning steps to provide process-level supervision. It introduces the notion of a novel reasoning step, namely, a step that is logically valid, consistent with the evolving reasoning state, and not already implied by previously accepted non-contradictory deductions. Based on this solver-based assessment, it designs process rewards that encourage novel inferential progress while penalizing contradictory and uninformative reasoning steps. Evaluation across three logical reasoning benchmarks, ZebraLogic, AR-LSAT, and Knights and Knaves, and four LLMs shows that SPRING consistently outperforms base LLMs, outcome-only reward baselines, and Logic-LM. On ZebraLogic, SPRING improves puzzle accuracy by up to 49.71 and 15.43 points over the base LLM and strongest outcome-only baseline, respectively. On AR-LSAT, it improves overall accuracy by up to 64.93 and 12.14 points, respectively. On Knights and Knaves, SPRING achieves up to 93.14 puzzle accuracy and 96.05 person accuracy.
• Abstract（参考訳）: 論理的推論は、特に厳密な制約追跡、一貫性の維持、多段階推論を必要とする構造上の問題において、大きな言語モデル(LLM)にとって依然として大きな課題である。 この課題は特に、不整合性、冗長性、または脆性の推論軌道を生じる傾向にある小規模のLSMにとって急速である。 論理的推論を改善するための既存のアプローチは、最終回答の正しさに大きく最適化されており、中間的推論プロセスに対する弱い監督しか提供しない。 本稿では,SPRING(Solver-guided Process Rewards for Novel LogIcal ReasoNing Step Generation)を提案する。 SPRINGは、SMTソルバを中間推論ステップの訓練時間検証器として使用し、プロセスレベルの監視を提供する。 これは、論理的に有効であり、進化する推論状態と整合し、これまで受け入れられていた非矛盾的推論によって既に示唆されていない新しい推論ステップの概念を導入する。 この解法に基づく評価に基づいて、矛盾する推論ステップと非形式的推論ステップをペナルティ化しながら、新しい推論進歩を促進するプロセス報酬を設計する。 ZebraLogic、AR-LSAT、Knights and Knavesの3つの論理的推論ベンチマークと4つのLCMによる評価は、SPRingがベースLLM、結果のみの報酬ベースライン、Logic-LMを一貫して上回っていることを示している。 ZebraLogic では、SPRing は基本 LLM 上の最大 49.71 と 15.43 のポイントでパズルの精度を向上する。 AR-LSATでは、それぞれ64.93点と12.14点の精度が向上している。 KnightsとKnavesでは、SPRINGは最大93.14のパズルの精度と96.05人の正確さを達成している。

関連論文リスト

• Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
  我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。 本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。 提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T10:41:44Z)
• Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning [50.352417879912515]
  大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。 一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。 次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
  論文  参考訳（メタデータ） (2026-02-06T08:03:11Z)
• Training LLMs with LogicReward for Faithful and Rigorous Reasoning [75.30425553246177]
  定理証明器を用いてステップレベルの論理的正しさを強制することでモデルトレーニングを指導する報酬システムであるLogicRewardを提案する。 LogicRewardで構築されたデータに基づいてトレーニングされた8Bモデルは、GPT-4oとo4-miniを11.6%、自然言語推論と論理的推論タスクで2%超えた。
  論文  参考訳（メタデータ） (2025-12-20T03:43:02Z)
• Reason-KE++: Aligning the Process, Not Just the Outcome, for Faithful LLM Knowledge Editing [63.96040994220329]
  SFTに基づく手法、例えばReason-KEは「偽りのギャップ」に悩まされている。 このギャップにより、LLMの強力なパラメトリック先行は、新しい文脈事実をオーバーライドすることができる。 本稿では,プロセスレベルの忠実性を具現化するSFT+RLフレームワークReason-KE++を提案する。
  論文  参考訳（メタデータ） (2025-11-16T15:49:01Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• Premise-Augmented Reasoning Chains Improve Error Identification in Math reasoning with LLMs [10.179253284788796]
  大型言語モデル(LLM)の数学的推論を促進させるチェーン・オブ・ソート(CoT) 本稿では,各ステップの前提を識別し,推論の評価を改善するためのフレームワークを提案する。 本研究は,複雑な問題解決課題に対処する前提中心表現の有用性を強調した。
  論文  参考訳（メタデータ） (2025-02-04T14:44:58Z)
• DetermLR: Augmenting LLM-based Logical Reasoning from Indeterminacy to Determinacy [76.58614128865652]
  非決定性から決定性への進化として推論過程を再考する新しい視点であるDetermLRを提案する。 まず、既知の条件を次の2つのタイプに分類する: 決定的および不決定的前提 これは、推論プロセスのオール方向を提供し、不決定的データを段階的決定的洞察に変換する際のLCMを導く。 我々は、利用可能な施設の保存と抽出、推論メモリによる推論パスの自動化、そしてその後の推論ステップに関する歴史的推論の詳細を保存する。
  論文  参考訳（メタデータ） (2023-10-28T10:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。