論文の概要: All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning

• arxiv url: http://arxiv.org/abs/2503.01067v2
• Date: Fri, 17 Oct 2025 14:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.218513
• Title: All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning
• Title（参考訳）: あらゆる道が好まれる:ファインチューニングにおける強化学習の価値
• Authors: Gokul Swamy, Sanjiban Choudhury, Wen Sun, Zhiwei Steven Wu, J. Andrew Bagnell,
• Abstract要約: 基礎モデルファインチューニング(FT)における最強の結果は,比較的複雑な2段階の訓練手順によって達成されることを示す。 具体的には、オンラインフィードバックを提供するために使用する前に、まず、あるデータセット(例えば、人間の好み)に報酬モデル(RM)をトレーニングする。 生成検証ギャップの問題に対して、比較的単純なRMを選好データから学習することは比較的容易である、という説明を最も支持している。
• 参考スコア（独自算出の注目度）: 49.43901716932925
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: From a first-principles perspective, it may seem odd that the strongest results in foundation model fine-tuning (FT) are achieved via a relatively complex, two-stage training procedure. Specifically, one first trains a reward model (RM) on some dataset (e.g., human preferences) before using it to provide online feedback as part of a downstream reinforcement learning (RL) procedure, rather than directly optimizing the policy parameters on said dataset via offline maximum likelihood estimation. In fact, from an information-theoretic perspective, we can only lose information via passing through a reward model and cannot create any new information via on-policy sampling. To explain this discrepancy, we scrutinize several hypotheses on the value of RL in FT through both theoretical and empirical lenses. Of the hypotheses considered, we find the most support for the explanation that on problems with a generation-verification gap, (1) it is relatively easy to learn the relatively simple RM (verifier) from the preference data. Then, (2) the downstream RL procedure only returns policies (generators) that are optimal for such relatively simple verifiers. Thus, end-to-end, two-stage online FT only has to search over a reduced subset of the full space of policies, requiring less data than offline FT.
• Abstract（参考訳）: 第1原理の観点からは、基礎モデル微調整(FT)における最強の結果が比較的複雑な2段階の訓練手順によって達成されるのは奇妙に思える。 具体的には、まず、ダウンストリーム強化学習(RL)手順の一部としてオンラインフィードバックを提供するために使用する前に、あるデータセット(例えば、人間の好み)上で報酬モデル(RM)をトレーニングする。 実際、情報理論の観点からは、報酬モデルを通過することでのみ情報を失うことができ、オンラインサンプリングによって新たな情報を生成することはできない。 この相違を説明するために, FTにおけるRLの値に関するいくつかの仮説を, 理論的および経験的両レンズを用いて検討した。 考察された仮説のうち、生成検証ギャップの問題について、(1)比較的単純なRM(verifier)を選好データから学習することが比較的容易である、という説明を最も支持している。 そして、(2)下流のRLプロシージャは、そのような比較的単純な検証に最適なポリシー(ジェネレータ)のみを返す。 したがって、エンドツーエンドの2段階のオンラインFTは、完全なポリシー空間のサブセットを検索するだけで、オフラインFTよりも少ないデータを必要とする。

関連論文リスト

• Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training [61.1421888242439]
  Supervised Fine-tuning (SFT) は計算効率が良いが、強化学習 (RL) に比べて一般化が劣ることが多い。 そこで我々は,オンポリシィSFTを有効にすることで,このシャームを橋渡しするフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T17:59:58Z)
• Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting [40.80967570661867]
  言語モデルをポストトレーニングによって新しいタスクに適応することは、既存の能力を劣化させるリスクをもたらす。 教師付き微調整(SFT)と強化学習(RL)の2つの広く採用されているポストトレーニング手法の忘れパターンを比較した。 RLはSFTよりも忘れられがちだが、目標タスクのパフォーマンスは同等か高い。
  論文  参考訳（メタデータ） (2025-10-21T17:59:41Z)
• One-Token Rollout: Guiding Supervised Fine-Tuning of LLMs with Policy Gradient [16.05489579792086]
  政策勾配法を用いてSFTを誘導する新しい微調整アルゴリズムであるワンツーケンロールアウト(OTR)を導入する。 OTRは、各トークン生成を1ステップ強化学習軌跡として扱うことにより、自己回帰学習プロセスを再構築する。 我々は,OTRを微調整LDMの強力で実用的な代替品として位置づけた。
  論文  参考訳（メタデータ） (2025-09-30T14:25:56Z)
• Towards Efficient Online Exploration for Reinforcement Learning with Human Feedback [12.158181906895186]
  人間のフィードバックによる強化学習は、大きな言語モデルと人間の好みを整合させる中心的なパラダイムとして現れてきた。 オンラインRLHFの探索原理について検討し、報酬モデルとポリシーの両方をデータ効率のよい方法で洗練しようとする。 そこで本研究では,報酬差の不確実性を抑えるために,嗜好クエリを指示する新たな探索手法を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:57:17Z)
• wd1: Weighted Policy Optimization for Reasoning in Diffusion Language Models [15.638885149395657]
  dLLMs確率関数の抽出可能性には、各ポリシー最適化ステップにおける現在の、古い、参照ポリシーの確率を近似する必要がある。 我々は、目的を重み付けされた可能性として再構成する、新しいポリシー最適化アプローチである$mathttwd1$を導入する。 広く使われている推論ベンチマークの実験では、$mathttwd1$は教師付き微調整(SFT)や教師付きデータなしで、dLLMの既存のRLメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2025-07-07T21:27:25Z)
• Best Policy Learning from Trajectory Preference Feedback [15.799929216215672]
  嗜好型強化学習(PbRL)における最良政策識別の問題に対処する。 本稿では,Top-Two Thompson Smplingにヒントを得た新しいアルゴリズムであるPosterior Smpling for Preference Learning(mathsfPSPL$)を提案する。 この設定で PbRL に関する最初の理論的保証を提供し、単純ベイズ的後悔の上限を確立する。
  論文  参考訳（メタデータ） (2025-01-31T03:55:10Z)
• Online Preference Alignment for Language Models via Count-based Exploration [46.46627519343809]
  Reinforcement Learning from Human Feedback (RLHF)は、人間の好みに合わせて微調整された大規模言語モデル(LLM)に大きな可能性を示している。 既存のメソッドは、データカバレッジに制限のある、固定データセットからの好みのアライメントを実行する。 オンラインRLHFは、プロンプト-レスポンスペアを反復的に収集することで、LLMが初期データセットのサポートの外部を探索できるようにするのが望ましい。
  論文  参考訳（メタデータ） (2025-01-22T09:12:09Z)
• Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF [80.32171988565999]
  オンラインとオフラインのRLHFに統一的なアプローチを導入します。 VPOは、報酬関数の最大値推定を対応する値関数で正規化する。 テキスト要約とダイアログの実験は、VPOの実用性と有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-29T17:51:42Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Model-based Offline Imitation Learning with Non-expert Data [7.615595533111191]
  本稿では,最適条件と最適条件の両方で収集されたデータセットを活用する,スケーラブルなモデルベースオフライン模倣学習アルゴリズムフレームワークを提案する。 提案手法は, シミュレーションされた連続制御領域上での低データ構造における振舞いクローンよりも優れることを示す。
  論文  参考訳（メタデータ） (2022-06-11T13:08:08Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Interpretable performance analysis towards offline reinforcement learning: A dataset perspective [6.526790418943535]
  既存のオフラインRLアルゴリズムの2倍の分類法を提案する。 異なる種類のアルゴリズムのパフォーマンスと状態下でのアクションの分布との相関性を検討する。 我々はAtariドメイン上のベンチマークプラットフォームであるEasy Go(RLEG)を作成し、そのコストは0.3億ドル以上と見積もっている。
  論文  参考訳（メタデータ） (2021-05-12T07:17:06Z)
• Instabilities of Offline RL with Pre-Trained Neural Representation [127.89397629569808]
  オフライン強化学習(RL)では、オフラインデータを利用して、評価対象のポリシーのそれとは大きく異なる分布からデータが収集されるシナリオでポリシーを評価する(または学習する)ことを目指しています。 最近の理論的進歩は、そのようなサンプル効率の良いオフラインRLが確かにある強い表現条件が保持されることを示した。 本研究は,オフラインrlメソッドの安定性を評価するために,経験的視点からこれらの問題を考察する。
  論文  参考訳（メタデータ） (2021-03-08T18:06:44Z)
• Is Pessimism Provably Efficient for Offline RL? [104.00628430454479]
  優先度を収集したデータセットに基づいて最適なポリシーを学ぶことを目的としたオフライン強化学習(RL)について検討する。 ペナルティ関数として不確かさ量化器を組み込んだ値反復アルゴリズム(pevi)の悲観的変種を提案する。
  論文  参考訳（メタデータ） (2020-12-30T09:06:57Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。