論文の概要: Finetuning with Sampling: SFT Learns Better Than You Think

• arxiv url: http://arxiv.org/abs/2610.02140v1
• Date: Thu, 01 Oct 2026 17:45:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.351887
• Title: Finetuning with Sampling: SFT Learns Better Than You Think
• Title（参考訳）: SFTは、あなたが思ってるより上手に学習できる
• Abstract要約: ファインタニングの参照モデルから、オフ・ポリシートレースをよりオン・ポリシーに変換するサンプリングアルゴリズムを導入する。 我々のサンプリングアルゴリズムは,科学的なスキル獲得のようなタスク全体にわたって,SFTが普及しているポストトレーニング技術と競合することを可能にする。 本手法では,学習容易性のためにデータを生成するモデルネイティブ演算子としてサンプリングを行う。
• 参考スコア（独自算出の注目度）: 59.15243022588638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Introducing new capabilities to frontier models has long been the goal of posttraining, which predominantly employs supervised finetuning (SFT) and reinforcement learning (RL) to this end. Conventional wisdom dictates that RL enables strong generalization on new tasks without losing existing capabilities, while SFT is prone to weak generalization and catastrophic forgetting. At the same time, SFT can learn from off-policy expert data, whereas RL must rely on a model's ability to find successful trajectories with repeated sampling. In our work, we seek to leverage the strength of on-policy learning while utilizing the privileged information contained in off-policy data. However, rather than modifying the learning objective to accommodate this data, we instead tailor the data distribution to better suit the learner. We introduce a Markov chain Monte Carlo (MCMC) sampling algorithm that progressively transforms off-policy traces to be more on-policy given a reference model for finetuning. Across tasks like scientific skill acquisition, mathematical reasoning, and open-ended expertise, our sampling algorithm enables SFT to rival prevailing posttraining techniques, often generalizing better and forgetting less than strong on-policy baselines. In addition, the resulting finetuned models exhibit strong distributional performance and are capable of learning beyond sharpening the base model distribution. At a higher level, our approach presents sampling as a model-native operator that shapes data for learnability, offering broader utility as a general-purpose primitive throughout the posttraining stack.
• Abstract（参考訳）: フロンティアモデルに新たな能力を導入することは、長い間ポストトレーニングの目標であり、主に教師付き微調整(SFT)と強化学習(RL)を使用している。 従来の知恵では、RLは既存の能力を失うことなく新しいタスクの強力な一般化を可能にし、SFTは弱い一般化と破滅的な忘れがちである。 同時に、SFTは、外部の専門家データから学ぶことができるが、RLは、繰り返しサンプリングすることで、成功した軌跡を見つける能力に頼らなければならない。 本研究は,非政治データに含まれる特権情報を活用しつつ,オンライン学習の強みを活用することを目的とする。 しかし、このデータに対応するために学習対象を変更するのではなく、学習者に合うようにデータ分布を調整します。 本稿では,マルコフ連鎖モンテカルロ(MCMC)サンプリングアルゴリズムを導入する。 我々のサンプリングアルゴリズムは、科学的スキル獲得、数学的推論、オープンな専門知識といったタスクにまたがって、SFTが一般的なポストトレーニング技術と競合することを可能にする。 さらに、得られた微調整されたモデルは、強い分布性能を示し、ベースモデルの分布を研ぐこと以上の学習を行うことができる。 より高度なレベルでは、学習容易性のためにデータを形作るモデルネイティブ演算子としてサンプリングを行い、ポストトレーニングスタック全体にわたって汎用プリミティブとして幅広いユーティリティを提供する。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective [98.45690529036848]
  Supervised Fine-Tuning (SFT) や Reinforcement Fine-Tuning (RFT) といったポストトレーニングアルゴリズムは、マルチモーダルな大規模言語モデルを下流タスクに適応するために広く使われている。 タスク適応には有効であるが、以前の知識に対する影響はいまだ不明である。
  論文  参考訳（メタデータ） (2025-06-30T04:15:01Z)
• Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions [17.407689582427437]
  大規模言語モデル(LLM)推論は、強化学習(RL)を通して計画や自己回帰のような洗練された行動が現れることを示した。 textbfReLIFT (textbfReinforcement textbfL textbfInterleaved with Online textbfFine-textbfTuning) ReLIFTでは、モデルを主にRLを使ってトレーニングするが、難しい問題に遭遇すると、ファインチューニングのための高品質なソリューションが収集され、トレーニングプロセスが交互に行われる。
  論文  参考訳（メタデータ） (2025-06-09T08:11:20Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• ReFT: Reasoning with Reinforced Fine-Tuning [9.80361828538909]
  本稿では,Reinforced Fine-Tuning (ReFT) というシンプルな手法を提案する。 ReFTはまずSFTを用いてモデルをウォームアップし,さらにオンライン強化学習,特に本論文のPPOアルゴリズムを用いる。 GSM8K、MathQA、SVAMPデータセットの実験では、ReFTがSFTを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-01-17T04:43:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。