論文の概要: Unifying ICL, SFT, KL-Regularized RL Through a Bayesian Lens

• arxiv url: http://arxiv.org/abs/2609.05111v1
• Date: Fri, 04 Sep 2026 13:06:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.042661
• Title: Unifying ICL, SFT, KL-Regularized RL Through a Bayesian Lens
• Title（参考訳）: ベイズレンズによるICL, SFT, KL規則化RLの統一
• Abstract要約: このノートは、これらの手順を同じ足場に置くベイズ的な視点を発展させている。 パートIは、いくつかのショットICLとSFTを、ベイズの後部予測への償却および重み付き投影として定式化する。 パートII-IVは,KL規則化RLHF/RLVR,報酬重み付きSFT,報酬重み付きICL,利得重み付きSFTが,報酬や利益によって誘導される後部への前方KL投射の例であることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are now trained and evaluated under a diverse set of paradigms: supervised fine-tuning (SFT), few-shot in-context learning (ICL), KL-regularized RLHF/RLVR, on-policy distillation (OPD), and test-time reasoning with search and chain-of-thought. These methods are often discussed as fundamentally different, and recent empirical results--such as the mixed impact of few-shot prompting on RL-tuned reasoning models--can appear puzzling. This note develops a Bayesian perspective that puts these procedures on the same footing. At the core is a two-step template: (i) construct a (generalized) Bayes or Gibbs posterior q* over outputs or actions given a context, using a prior/reference model and a utility signal (log-likelihood, reward, or advantage); and (ii) approximate q* by a forward-KL projection onto a parametric family, either in-weights (SFT/RL) or in-context (ICL). Part I formalizes few-shot ICL and SFT as amortized and-weights projections onto the Bayes posterior predictive. Parts II-IV show that KL-regularized RLHF/RLVR, reward-weighted SFT, reward-weighted ICL (RW-ICL), and advantage-weighted SFT (AWSFT) are all instances of forward-KL projection onto posteriors induced by rewards or advantages. We disentangle where these equivalences hold (objectives and first-order updates) and where they do not (source and granularity of the learning signal). Part V sketches implications for modern reasoning pipelines: RLHF/RLVR recipes as "posterior design + projection", why cold-start or supervised warm-up is practically unavoidable for importance-weighted KL projections, and DeepSeek-R1 and o1-style reasoning models as combining test-time Bayesian search with training-time KL amortization.
• Abstract（参考訳）: 大規模言語モデルは、教師付き微調整(SFT)、少数ショットインコンテキスト学習(ICL)、KL正規化RLHF/RLVR、オンライン蒸留(OPD)、検索と連鎖によるテストタイム推論など、様々なパラダイムの下で訓練され、評価されている。 これらの手法は基本的に異なるものとして論じられることが多く、最近の経験的結果(例えば、数発のプロンプトがRLで調整された推論モデルに混ざった影響など)はファズリングのように見える。 このノートは、これらの手順を同じ足場に置くベイズ的な視点を発展させている。 コアには2ステップのテンプレートがあります。 i)事前参照モデル及び実用信号(log-likelihood, reward, or advantage)を用いて、文脈が与えられた出力又は動作の上に(一般化された)ベイズまたはギブス後部q*を構築すること。 i) 非重み(SFT/RL)またはインコンテキスト(ICL)のいずれかのパラメトリック族への前方KL投影による近似q*。 パートIは、いくつかのショットICLとSFTを、ベイズの後部予測への償却および重み付き投影として定式化する。 パートII-IVは、KL規則化されたRLHF/RLVR、報酬重み付きSFT、報酬重み付きICL(RW-ICL)、利益重み付きSFT(AWSFT)が、報酬または利点によって誘導される後部への前方KL投射の例であることを示している。 これらの等価性が保持される場所(オブジェクトと一階更新)と、それらが持たない場所(学習信号のソースと粒度)を歪めます。 パートVでは、RLHF/RLVRレシピを"後設計とプロジェクション"として、なぜコールドスタートや監督されたウォームアップが重要度の高いKLプロジェクションでは事実上避けられないのか、DeepSeek-R1とo1スタイルの推論モデルは、テストタイムベイズ検索とトレーニングタイムのKLアモート化を組み合わせたものである。

関連論文リスト

• Is Next-Chunk Reasoning RL Really Better than SFT? Revisiting Training Strategies under no-CoT Data [48.92748013043833]
  また,Mixed SFTは,RLよりも明らかに高い性能を示すことを示す。 また,RLVR前精度は必ずしも高次RLVR後精度に変換されないことを示した。
  論文  参考訳（メタデータ） (2026-08-24T13:47:45Z)
• Entropy-KL Divergence-based Token Masking: A Novel Approach for Selective Fine-tuning of Large Language Models [52.11240605311707]
  改良された微調整と強化学習は、大規模言語モデルの訓練後の標準パラダイムとなっている。 EKSFT(Entropy-KL Selective Fine-Tuning)は,参照モデルから高いエントロピーまたは高いKLの発散を示すトークンを選択的にマスクする。 数学的推論ベンチマークに関する実証的な評価は、EKSFTが標準SFTを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-28T03:36:05Z)
• Decoupling KL and Trajectories: A Unified Perspective for SFT, DAgger, Offline RL, and OPD in LLM Distillation [15.564152482735652]
  本研究は, プレフィックスソースとトークンレベルKL方向の2つの選択肢を暗黙的に分けた, 代表的なパラダイム, オフ・ポリケーション蒸留, オン・ポリケーション蒸留について述べる。 KL混合とエントロピーゲート長のカリキュラムを提案する。
  論文  参考訳（メタデータ） (2026-05-16T06:05:27Z)
• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning [55.36978389831446]
  我々はベイズ適応RLフレームワークにおける反射探査を再放送する。 我々のアルゴリズムであるBARLは、観測結果に基づいて戦略を縫い替えるようにLLMに指示する。
  論文  参考訳（メタデータ） (2025-05-26T22:51:00Z)
• SFT or RL? An Early Investigation into Training R1-Like Reasoning Large Vision-Language Models [39.551767637896404]
  本研究は、LVLM(Large Vision-Language Models)のトレーニングにおいて、支配的な教師付き微調整(SFT)、強化学習(RL)パラダイムを再考する。 SFTは、専門家モデルから模倣された擬似推論経路を誘導することにより、その後のRLを著しく損なう可能性があることを示す。 我々は,LVLMにおける推論を支援するために設計された,新しいマルチモーダルデータセットであるVLAA-Thinkingを紹介する。
  論文  参考訳（メタデータ） (2025-04-10T16:54:05Z)
• On the Power of Perturbation under Sampling in Solving Extensive-Form Games [56.013335390600524]
  本研究では, サンプリング対象の広義ゲームにおいて, 摂動がいかにしてFTRL(Follow-the-Regularized-Leader)アルゴリズムを改良するかを検討する。 我々は、textitPerturbed FTRLアルゴリズムの統一フレームワークを提案し、PFTRL-KLとPFTRL-RKLの2つの変種について検討する。
  論文  参考訳（メタデータ） (2025-01-28T00:29:38Z)
• Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models [18.870276152694245]
  Kullback-Leiber分散は、Large Language Models (LLM) の圧縮に知識蒸留 (KD) で広く使われている。 以前のアサーションとは対照的に、逆クルバック・リブラー(英語版)(RKL)の発散はモード探索であり、したがって平均シーキング前方クルバック・リブラー(英語版)(FKL)の発散よりも好ましい。 本稿では,FKLとRKLを組み合わせるために重みを適応的に割り当てる,単純で効果的な適応型Kulback-Leiber(AKL)分散法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T11:40:17Z)
• RL with KL penalties is better viewed as Bayesian inference [4.473139775790299]
  我々は、言語モデルを強化学習ポリシーとして扱う際の課題を分析する。 これらの課題を避けるには、どのようにしてRLパラダイムを超えていく必要があるかを示します。
  論文  参考訳（メタデータ） (2022-05-23T12:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。