論文の概要: Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts

• arxiv url: http://arxiv.org/abs/2508.10123v1
• Date: Wed, 13 Aug 2025 18:37:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.087615
• Title: Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts
• Title（参考訳）: Nested-ReFT:オフポリティロールアウトによる大規模言語モデルファインチューニングのための効率的な強化学習
• Authors: Maxime Heuillet, Yufei Cui, Boxing Chen, Audrey Durand, Prasanna Parthasarathi,
• Abstract要約: 我々はNested-ReFTを導入し、ターゲットモデルのサブセットがトレーニング中に非政治的な完了を生成する行動モデルとして機能する。 我々の理論的分析は、Nested-ReFTが制御された分散を伴う非バイアス勾配推定値を得ることを示している。 我々の経験的分析は、複数の数学推論ベンチマークとモデルサイズでトークン/秒として測定された計算効率の改善を実証している。
• 参考スコア（独自算出の注目度）: 25.205293698698867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advanced reasoning in LLMs on challenging domains like mathematical reasoning can be tackled using verifiable rewards based reinforced fine-tuning (ReFT). In standard ReFT frameworks, a behavior model generates multiple completions with answers per problem, for the answer to be then scored by a reward function. While such RL post-training methods demonstrate significant performance improvements across challenging reasoning domains, the computational cost of generating completions during training with multiple inference steps makes the training cost non-trivial. To address this, we draw inspiration from off-policy RL, and speculative decoding to introduce a novel ReFT framework, dubbed Nested-ReFT, where a subset of layers of the target model acts as the behavior model to generate off-policy completions during training. The behavior model configured with dynamic layer skipping per batch during training decreases the inference cost compared to the standard ReFT frameworks. Our theoretical analysis shows that Nested-ReFT yields unbiased gradient estimates with controlled variance. Our empirical analysis demonstrates improved computational efficiency measured as tokens/sec across multiple math reasoning benchmarks and model sizes. Additionally, we explore three variants of bias mitigation to minimize the off-policyness in the gradient updates that allows for maintaining performance that matches the baseline ReFT performance.
• Abstract（参考訳）: LLMの数学的推論のような挑戦的な領域に対する高度な推論は、検証可能な報酬に基づく強化微調整(Reforceed Fine-tuning, ReFT)を用いて取り組むことができる。 標準的なReFTフレームワークでは、振る舞いモデルは問題ごとの回答で複数の完了を生成し、その答えは報酬関数によってスコアされる。 このようなRLポストトレーニング手法は、難解な推論領域にまたがる大幅な性能向上を示すが、複数の推論ステップによるトレーニング中に完了を生成する計算コストは、トレーニングコストを非自明にしている。 これを解決するために、我々は、非政治的RLからインスピレーションを得て、Nested-ReFTと呼ばれる新しいReFTフレームワークを導入する投機的復号化を行い、ターゲットモデルのサブセットが、トレーニング中に非政治的完了を生成する行動モデルとして機能する。 トレーニング中の動的レイヤのスキップによって構成される振る舞いモデルは、標準のReFTフレームワークと比較して推論コストを低減します。 我々の理論的分析は、Nested-ReFTが制御された分散を伴う非バイアス勾配推定値が得られることを示している。 我々の経験的分析は、複数の数学推論ベンチマークとモデルサイズでトークン/秒として測定された計算効率の改善を実証している。 さらに、勾配更新における非政治性を最小化し、ベースラインのReFT性能に適合する性能を維持するために、バイアス緩和の3つのバリエーションについて検討する。

関連論文リスト

• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [62.579951798437115]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Reusing Embeddings: Reproducible Reward Model Research in Large Language Model Alignment without GPUs [58.18140409409302]
  大規模言語モデル (LLM) は強化学習 (RL) を通じて構造化タスクに大きく進歩した。 チャットボットやコンテンツ生成といった幅広い分野にRLを適用することは、ユニークな課題だ。 埋め込み型報酬モデルを用いた既存の報酬モデルアンサンブル研究の再現事例について述べる。
  論文  参考訳（メタデータ） (2025-02-04T19:37:35Z)
• Zeroth-order Informed Fine-Tuning for Diffusion Model: A Recursive Likelihood Ratio Optimizer [9.153197757307762]
  確率拡散モデル(DM)は視覚生成のための強力なフレームワークである。 DMを効率的に調整する方法は重要な課題である。 本稿では,DMのための第0次情報調整パラダイムであるRecursive Likelihood Ratio (RLR)を提案する。
  論文  参考訳（メタデータ） (2025-02-02T03:00:26Z)
• Solving Offline Reinforcement Learning with Decision Tree Regression [0.0]
  本研究は, オフライン強化学習問題に対して, 回帰タスクとして再検討することで, 新たなアプローチを提案する。 我々は、リターン条件付きとリターン重み付き決定ツリーポリシーの2つの異なるフレームワークを紹介します。 オフラインRLに対するこの改定されたアプローチに固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T23:50:46Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Learning to Reweight Imaginary Transitions for Model-Based Reinforcement Learning [58.66067369294337]
  モデルが不正確または偏りがある場合、虚構軌跡はアクション値とポリシー関数を訓練するために欠落する可能性がある。 虚構遷移を適応的に再重み付けし, 未生成軌跡の負の効果を低減させる。 提案手法は,複数のタスクにおいて,最先端のモデルベースおよびモデルフリーなRLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2021-04-09T03:13:35Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。