論文の概要: Evolving LLMs' Self-Refinement Capability via Iterative Preference Optimization

• arxiv url: http://arxiv.org/abs/2502.05605v3
• Date: Sat, 17 May 2025 17:40:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.440927
• Title: Evolving LLMs' Self-Refinement Capability via Iterative Preference Optimization
• Title（参考訳）: 反復選好最適化によるLLMの自己精製能力の進化
• Authors: Yongcheng Zeng, Xinyu Cui, Xuanfa Jin, Guoqing Liu, Zexu Sun, Dong Li, Ning Yang, Jianye Hao, Haifeng Zhang, Jun Wang,
• Abstract要約: EVOLVEは、好みのトレーニングと自己修正データ収集を統合する新しいフレームワークである。 GSM8KやMATHのような数学的推論タスクのパフォーマンスを継続的に向上させる。
• 参考スコア（独自算出の注目度）: 35.807318314766974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large language models (LLMs) have demonstrated remarkable general performance, enabling smaller models to achieve capabilities comparable to their larger counterparts remains a critical challenge. For humans, iterative refinement of problem analysis and responses is a common strategy to enhance answer quality. However, we observe that existing LLMs exhibit limited ability to refine their outputs for quality improvement. In this paper, we first investigate mechanisms to unlock and progressively enhance self-refinement ability in smaller models within an iterative preference optimization framework, aiming to bridge the performance gap with larger models. To this end, we propose EVOLVE, a novel post-training and inference framework that iteratively integrates preference training with self-refinement-driven data collection. During training, EVOLVE strengthens the model's direct question-answering ability while simultaneously unlocking its self-refinement potential. At inference, the framework leverages this capability to generate progressively refined responses, which are filtered to construct datasets for subsequent rounds of preference training. Experiments demonstrate EVOLVE's exceptional performance: when applied to Llama-3.1-8B base model and under the self-refinement setting, it surpasses state-of-the-art models including Llama-3.1-405B-Instruct and GPT-4o, achieving a 62.3% length-controlled win rate and 63.3% raw win rate on AlpacaEval 2, along with a 50.3% win rate on Arena-Hard. Furthermore, EVOLVE consistently enhances performance on mathematical reasoning tasks like GSM8K and MATH.
• Abstract（参考訳）: 大きな言語モデル(LLM)は目覚ましい汎用性能を示しており、より小さなモデルでより大きなモデルに匹敵する能力を実現することは依然として重要な課題である。 人間にとって、問題分析と応答の反復的洗練は、回答の品質を高めるための一般的な戦略である。 しかし,既存のLCMは品質向上のために出力を改良する能力に限界があることが観察された。 本稿では,大規模モデルによる性能ギャップの埋め合わせを目的とした,反復的選好最適化フレームワークにおいて,小型モデルにおける自己抑制能力のアンロックと漸進的に向上を行う機構について検討する。 そこで,本稿では,自己修正型データ収集と嗜好学習を反復的に統合する,新たなポストトレーニングおよび推論フレームワークEVOLVEを提案する。 トレーニング中、EVOLVEはモデルの直接質問応答能力を強化し、同時に自己抑止能力を開放する。 推論において、このフレームワークは、この機能を活用して、徐々に洗練された応答を生成し、その後の選好トレーニングラウンドのためのデータセットを構築するためにフィルタされる。 実験では、Llama-3.1-8Bベースモデルに適用され、自己補充設定の下では、Llama-3.1-405BインストラクトやGPT-4oといった最先端のモデルを超え、AlpacaEval 2での62.3%の勝利率と63.3%の生の勝利率と、アリーナ・ハードでの50.3%の勝利率を達成した。 さらに、EVOLVEはGSM8KやMATHのような数学的推論タスクのパフォーマンスを継続的に向上させる。

関連論文リスト

• Think, Prune, Train, Improve: Scaling Reasoning without Scaling Models [1.96238419451815]
  大規模言語モデル(LLM)は、プログラミングや数学的推論タスクにおいて強力な能力を示しているが、高品質な訓練データに制限されている。 我々は,高品質なトレーニングデータを確保するために,地道プルースプルーニングを用いて,自身の推論トレースを反復的に微調整するスケーラブルなフレームワークを導入する。 GSM8Kでは、Gemma2-2Bは57.6%(41.9%から)のPass@1、Gemma2-9Bは82%、LLaMA-3.1-70B、LLaMA-3.1-70Bは91%、GPT-4oを超える。
  論文  参考訳（メタデータ） (2025-04-25T06:48:55Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• From Drafts to Answers: Unlocking LLM Potential via Aggregation Fine-Tuning [31.95005389919542]
  データスケールとモデルサイズは、大規模言語モデルの性能向上に有効であることが証明されている。 本稿では,教師付きファインチューニングパラダイムであるAggregation Fine-Tuning(AFT)を紹介する。 ベンチマークデータセットの実証評価では、AFT訓練されたモデルは標準のSFTよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-01-21T04:11:59Z)
• FORLAPS: An Innovative Data-Driven Reinforcement Learning Approach for Prescriptive Process Monitoring [3.4437362489150254]
  本研究は,9つの公開データセットを用いた先行研究に対して,その性能をベンチマークする,革新的な評価モデルを提案する。 提案モデルであるFOLAPSは、プロセストレース内で最も最適なポリシーを提案し、最もよい次のアクティビティを予測するために、既存の最先端アプローチよりも優れたパフォーマンスを示した。
  論文  参考訳（メタデータ） (2025-01-17T20:31:35Z)
• Evolving Alignment via Asymmetric Self-Play [52.3079697845254]
  本稿では、2人のプレーヤー間の非対称ゲームとしてアライメントをキャストする一般オープンエンドなRLHFフレームワークを提案する。 Asymmetric Self-Play (eva) によるアライメントの進化(Evolving Alignment)というこのフレームワークは、既存のRLHFアルゴリズムを拡張性のあるアライメントに利用できるシンプルで効率的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2024-10-31T08:15:32Z)
• Just Say What You Want: Only-prompting Self-rewarding Online Preference Optimization [64.34767799614328]
  現在の自己回帰アプローチは、差別者の判断能力に大きく依存している。 本稿では,判断能力に頼らずに嗜好データセットを生成する,新たな自己回帰型オンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-26T04:41:08Z)
• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Direct Nash Optimization: Teaching Language Models to Self-Improve with General Preferences [21.5605000515622]
  本稿では,大言語モデル(LLM)の学習後,オラクルからの嗜好フィードバックを用いて,モデル自体を反復的に改善する手法について検討する。 提案手法は,理論的な一般化と対照的な学習の単純さと安定性を,一般の選好の最適化からマージする,証明可能かつ効率的なアルゴリズムである。 実験で得られた 7B パラメータ Orca-2.5 モデルは,AlpacaE 2.0 上で 33% の GPT-4-Turbo に対して,初期化モデルに対して 26% (7% から 33%) の絶対ゲインを達成した。
  論文  参考訳（メタデータ） (2024-04-04T17:56:41Z)
• Aligner: Efficient Alignment by Learning to Correct [10.056049435141645]
  モデルに依存しないプラグアンドプレイモジュールであるAlignerを導入し、好ましくない回答と好ましくない回答の補正残差を学習する。 トレーニングはワンオフで、さまざまなオープンソースおよびAPIベースのモデルに適用できるため、迅速なイテレーションに適している。 実験では、11の異なる言語モデルに同じAlignerモデルをデプロイすることで、パフォーマンスの向上を実証した。
  論文  参考訳（メタデータ） (2024-02-04T09:24:51Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• DavIR: Data Selection via Implicit Reward for Large Language Models [62.59514469369608]
  DavIRは、学習後の大規模言語モデルのためのモデルベースのデータ選択手法である。 DavIRで選択したAlpacaデータセットの6%は、LLaMAモデルとGemmaモデルの両方を操り、フル52Kデータセットでトレーニングされたモデルと比較すると、優れたパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2023-10-16T07:26:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。