論文の概要: Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2509.00084v1
• Date: Wed, 27 Aug 2025 06:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.062676
• Title: Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs
• Title（参考訳）: LLMにおける並列推論の自己抑制
• Authors: Qibin Wang, Pu Zhao, Shaohan Huang, Fangkai Yang, Lu Wang, Furu Wei, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang,
• Abstract要約: 本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 102.48588475875749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To further enhance the ability of Large Language Models (LLMs) to solve complex, multi-step reasoning problems, test-time scaling (TTS) methods have gained widespread attention. Existing approaches such as Best-of-N and majority voting are limited as their performance depends on the quality of candidate responses, making them unable to produce a correct solution when all candidates are incorrect. Introducing an additional model to select the best response also incurs significant deployment costs. To this end, we introduce Generative Self-Refinement (GSR), a novel parallel test-time scaling framework where a unified model first generates a set of candidate responses in parallel and then performs self-refinement to synthesize a new superior solution based on a prompt consisting of the problem and these candidates. However, LLMs struggle to perform refinement effectively when prompted directly. Therefore, we design a hybrid training pipeline by jointly optimizing for two complementary objectives, solving problems directly and refining candidate responses. Experimental results demonstrate that our method achieves state-of-the-art performance across five mathematical benchmarks. We further show that this learned self-refinement skill is a model-agnostic enhancement, robust across different model scales and generalizing to out-of-distribution reasoning tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の複雑な多段階推論問題の解決能力をさらに強化するため,テスト時間スケーリング(TTS)手法が注目されている。 既存のBest-of-Nや多数決のようなアプローチは、そのパフォーマンスが候補の応答の質に依存するため制限されるため、すべての候補が正しくない場合に正しい解を生成できない。 最高のレスポンスを選択するための追加モデルの導入も、相当なデプロイメントコストを発生させる。 この目的のために、我々は、新しい並列テスト時間スケーリングフレームワークであるジェネレーティブ・セルフリファインメント(GSR)を導入する。これは、統一モデルが最初に一連の候補応答を並列に生成し、その後、問題とこれらの候補からなるプロンプトに基づいて新しい優れた解を合成する自己リファインメントを行う。 しかし、LSMは直接的に改良を行うのに苦労する。 そこで我々は,2つの相補的な目的を共同で最適化し,問題を直接解決し,候補応答を補うハイブリッドトレーニングパイプラインを設計する。 実験結果から,本手法は5つの数学ベンチマークにおいて最先端性能を実現することが示された。 さらに、この学習された自己補充スキルは、モデルに依存しない拡張であり、異なるモデルスケールで堅牢であり、配布外推論タスクに一般化されていることを示す。

関連論文リスト

• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [62.579951798437115]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [65.31658824274894]
  Best-of-N選択は、大規模言語モデルの推論性能を改善するための重要なテクニックである。 本稿では,外部報酬モデルを必要とすることなく,応答品質を推定する新規かつ効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Iterative Deepening Sampling as Efficient Test-Time Scaling [27.807695570974644]
  OpenAIのO1シリーズのような最近の推論モデルは、複雑な推論タスクにおいて例外的なパフォーマンスを示している。 本稿では,自己補正の強化と高品質なサンプル生成を目的とした,新しい反復型深層サンプリングアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-08T04:39:51Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Recursive Introspection: Teaching Language Model Agents How to Self-Improve [30.086494067593268]
  RISE: Recursive IntroSpEctionは,大規模言語モデルを微調整する手法である。 実験の結果,RISEはLlama2,Llama3,Mistralの各モデルに対して,数学推論タスクのターン数を増やすことで自己改善を可能にすることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T17:35:59Z)
• V-STaR: Training Verifiers for Self-Taught Reasoners [71.53113558733227]
  V-STaR はモデル生成解の正しさを判断する DPO を用いて検証器を訓練する。 複数のイテレーションでV-STaRを実行すると、徐々により良い推論器と検証器が得られる。
  論文  参考訳（メタデータ） (2024-02-09T15:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。