論文の概要: Dual-Phase LLM Reasoning: Self-Evolved Mathematical Frameworks

• arxiv url: http://arxiv.org/abs/2601.05616v1
• Date: Fri, 09 Jan 2026 08:19:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.907202
• Title: Dual-Phase LLM Reasoning: Self-Evolved Mathematical Frameworks
• Title（参考訳）: Dual-Phase LLM推論: 自己進化した数学的枠組み
• Authors: ShaoZhen Liu, Xinting Huang, Houwen Peng, Xin Chen, Xinyang Song, Qi Li, Zhenan Sun,
• Abstract要約: 本稿では,モデルの自己補正能力を高めるための2段階トレーニングフレームワークを提案する。 最初の段階では、マルチターン対話戦略がモデルをガイドし、長いチェーン・オブ・シント(CoT)データを生成する。 第2段階では、データの分散を動的に最適化する難易度の高い拒絶サンプリング機構を採用している。
• 参考スコア（独自算出の注目度）: 48.105258051884384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, large language models (LLMs) have demonstrated significant potential in complex reasoning tasks like mathematical problem-solving. However, existing research predominantly relies on reinforcement learning (RL) frameworks while overlooking supervised fine-tuning (SFT) methods. This paper proposes a new two-stage training framework that enhances models' self-correction capabilities through self-generated long chain-of-thought (CoT) data. During the first stage, a multi-turn dialogue strategy guides the model to generate CoT data incorporating verification, backtracking, subgoal decomposition, and backward reasoning, with predefined rules filtering high-quality samples for supervised fine-tuning. The second stage employs a difficulty-aware rejection sampling mechanism to dynamically optimize data distribution, strengthening the model's ability to handle complex problems. The approach generates reasoning chains extended over 4 times longer while maintaining strong scalability, proving that SFT effectively activates models' intrinsic reasoning capabilities and provides a resource-efficient pathway for complex task optimization. Experimental results demonstrate performance improvements on mathematical benchmarks including GSM8K and MATH500, with the fine-tuned model achieving a substantial improvement on competition-level problems like AIME24. Code will be open-sourced.
• Abstract（参考訳）: 近年、大規模言語モデル (LLM) は数学的問題解決のような複雑な推論タスクにおいて大きな可能性を証明している。 しかし、既存の研究は主に強化学習(RL)フレームワークに依存し、教師付き微調整(SFT)手法を見下ろしている。 本稿では,モデルが自己生成する長いチェーン・オブ・シークレット(CoT)データを通じて自己補正能力を向上させるための,新たな2段階トレーニングフレームワークを提案する。 最初の段階では、マルチターン対話戦略がモデルをガイドし、検証、バックトラック、下位分解、後方推論を含むCoTデータを生成する。 第2段階では、データ分散を動的に最適化するために、複雑な問題に対処するモデルの能力を強化するために、困難を意識した拒絶サンプリング機構を採用している。 このアプローチは、強力なスケーラビリティを維持しながら4倍長く拡張された推論チェーンを生成し、SFTがモデル固有の推論能力を効果的に活性化し、複雑なタスク最適化のためのリソース効率の高い経路を提供することを示した。 GSM8K や MATH500 など数式ベンチマークの性能向上を示す実験結果が得られた。 コードはオープンソース化される。

関連論文リスト

• Training Multimodal Large Reasoning Models Needs Better Thoughts: A Three-Stage Framework for Long Chain-of-Thought Synthesis and Selection [64.34737012956182]
  大規模推論モデル(LRM)は、長いチェーン・オブ・ソート(CoT)推論を通して複雑な推論タスクにおいて顕著な性能を示した。 既存のマルチモーダルデータセットとCoTメソッドは、依然として限定的な推論深さ、モダリティ変換エラー、厳密な生成パイプラインに悩まされている。 マルチモーダル推論タスクに適した高品質なCoTデータを生成するための3段階合成選択フレームワークであるSynSelectを提案する。
  論文  参考訳（メタデータ） (2025-12-22T02:07:20Z)
• CALM Before the STORM: Unlocking Native Reasoning for Optimization Modeling [60.55856973678002]
  大規模推論モデル (LRM) は、複雑な多段階推論において強力な機能を示した。 既存のドメイン適応手法は、元々は命令調整モデル用に設計されていたが、現代のLEMの高度な推論パターンをうまく利用できなかった。 我々は、最適化モデリングタスクのためのネイティブ推論モード内でのLEMを段階的に洗練するフレームワークである textbfCALM を提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:38:31Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Enhancing Test-Time Scaling of Large Language Models with Hierarchical Retrieval-Augmented MCTS [19.394761422323853]
  R2-LLMsは,新規で汎用的な階層型検索拡張推論フレームワークである。 R2-LLMsは、二重レベル検索ベースのインコンテキスト学習を統合することにより、推論時間一般化を強化する。 MATH500、GSM8K、OlympiadBench-TOデータセットに関する実証的な評価は、かなりの相対的な改善をもたらす。
  論文  参考訳（メタデータ） (2025-07-08T00:41:12Z)
• SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
  大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。 本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。 我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
  論文  参考訳（メタデータ） (2024-11-17T12:31:04Z)
• Unleashing LLM Reasoning Capability via Scalable Question Synthesis from Scratch [54.12139707822201]
  本稿では,新しい,スケーラブルで費用対効果の高いデータ合成手法であるScaleQuestを提案する。 スクラッチから多様な質問を生成することで、100万の問題解決ペアのデータセットを生成します。 私たちの実験では、データに基づいてトレーニングされたモデルが、既存のオープンソースデータセットより優れています。
  論文  参考訳（メタデータ） (2024-10-24T12:42:04Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [49.362750475706235]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。