論文の概要: Reinforcing Step-level Reasoning for Effective Self-Correction in LLMs

• arxiv url: http://arxiv.org/abs/2608.11573v1
• Date: Wed, 12 Aug 2026 02:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.434664
• Title: Reinforcing Step-level Reasoning for Effective Self-Correction in LLMs
• Title（参考訳）: LLMにおける有効自己補正のためのステップレベル推論の強化
• Abstract要約: Self-Fix Step-DPOは、ステップレベルの自己検証と自己補正のための強化学習ベースのフレームワークである。 SFS-DPOとSFS-DPO-Rは、ステップレベルのトレーニングベースラインよりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 9.698213596197528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving effective self-correction, where models verify and correct their own mistakes, remains a fundamental challenge for large language models (LLMs). In this work, we propose Self-Fix Step-DPO (SFS-DPO), a reinforcement learning based, two-stage framework for step-level self-verification and self-correction. The first stage strengthens step-level reasoning via step-level preference optimization, while the second stage explicitly trains models to self-verify and self-correct. We further introduce a teacher-assisted variant, SFS-DPO-R, which incorporates explanatory rationales for error verification to provide stronger corrective signals. Comprehensive in-domain and out-of-domain evaluations across multiple LLMs demonstrate that SFS-DPO and SFS-DPO-R consistently outperform prior step-level training baselines. Our analysis further reveals improvements in self-correction frequency and effectiveness, highlighting the importance of strengthening step-level reasoning for robust performance.
• Abstract（参考訳）: モデルが自身の誤りを検証し、修正する効果的な自己補正を実現することは、大きな言語モデル(LLM)の根本的な課題である。 本研究では、ステップレベルの自己検証と自己補正のための強化学習に基づく2段階フレームワークであるSelf-Fix Step-DPO(SFS-DPO)を提案する。 第1段はステップレベルの選好最適化によるステップレベルの推論を強化し、第2段はモデルを自己検証と自己修正のために明示的に訓練する。 さらに,教師支援型であるSFS-DPO-Rを導入する。 複数のLLMで網羅したドメイン内および外部評価は、SFS-DPOとSFS-DPO-Rが前段階のトレーニングベースラインを一貫して上回っていることを示している。 本分析により, 自己補正周波数と有効性の向上が明らかになり, 堅牢性向上のためのステップレベルの推論の強化の重要性が浮き彫りになった。

関連論文リスト

• Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution [12.955460962298588]
  我々は、生成した推論トレースのみに基づいてステップレベルの信頼性を割り当てる、クローズドソース LLM のためのフレームワークである Stepwise Confidence Attribution (SCA) を紹介する。 SCAは、推論エラーと強く相関する低信頼のステップを確実に特定します。 ステップレベルの信頼を利用して自己補正を導くことで、回答レベルのフィードバックよりも最大で13.5%の修正成功率が向上する。
  論文  参考訳（メタデータ） (2026-05-19T00:57:51Z)
• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Team-Based Self-Play With Dual Adaptive Weighting for Fine-Tuning LLMs [24.816746511570244]
  Team-based Self-Play with dual Adaptive Weighting (TPAW)は、完全に自己監督された設定でのアライメントを改善するために設計された新しいセルフプレイアルゴリズムである。 TPAWは、人間の監督を必要とせず、反復的に調整する。
  論文  参考訳（メタデータ） (2026-05-11T03:17:31Z)
• Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards [71.19033708090389]
  Reinforcement Learning from Verifiable Rewards (RLVR) は、大きな言語モデル(LLM)推論を著しく強化するが、校正劣化に苦しむ。 推論と校正の目的を体系的に分離するフレームワークであるDCPOを提案する。
  論文  参考訳（メタデータ） (2026-03-10T02:47:59Z)
• Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
  はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。 この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。 我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2026-01-31T07:40:36Z)
• PAG: Multi-Turn Reinforced LLM Self-Correction with Policy as Generative Verifier [18.771754895027616]
  Policy as Generative Verifier (PAG) は、政策と検証役を交互に交互に行うことで、大規模言語モデルに自己修正の権限を与えるフレームワークである。 モデル崩壊を緩和し、推論能力と検証能力の両方を共同で強化する。
  論文  参考訳（メタデータ） (2025-06-12T06:59:35Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models [11.453585039783901]
  LEAF: Fact-Checkingによって強化された学習と評価は、大規模言語モデル(LLM)の現実的信頼性を高めるために設計された新しいアプローチである。 最初の戦略であるFact-Check-Then-RAGは、ファクトチェック結果を取り入れて、モデルパラメータを更新せずに検索プロセスをガイドすることによって、検索精度を向上させる。 第2の戦略であるLearning from Fact-Checks via Self-Trainingは、ファクトチェックされた応答の監督された微調整(SFT)や、ファクトチェックをランキングメカニズムとして適用するSimple Preference Optimization(SimPO)である。
  論文  参考訳（メタデータ） (2024-10-31T00:18:05Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Model Extrapolation Expedites Alignment [135.12769233630362]
  本研究では,人選好によるアライメントトレーニングを迅速化するExPOという手法を提案する。 我々は、ExPOがトレーニングされたDPOモデルを20%のステップで強化し、完全に訓練されたモデルを上回ることを実証した。 ExPO は AlpacaEval 2.0 と MT-Bench ベンチマークにおいて,既存のオープンソース LLM を特に改善している。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。