論文の概要: TailSFT: Filtered Fine-Tuning Improves Post-Training Performance

• arxiv url: http://arxiv.org/abs/2608.25756v1
• Date: Wed, 26 Aug 2026 13:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.833437
• Title: TailSFT: Filtered Fine-Tuning Improves Post-Training Performance
• Title（参考訳）: TailSFT: フィルタファインチューニングによるトレーニング後のパフォーマンス向上
• Abstract要約: 強化学習のポストトレーニングは、現代のAIシステムにおける推論とエージェント能力を促進する。 我々は、教師付き微調整(TailSFT)の簡単な修正を設計し、トレーニング中にすでに適合しているシーケンスをフィルタリングする。 OLMo-3 7Bでは、TailSFTは数学とコーディング評価のパス@16のパフォーマンスを最大17%向上させる。
• 参考スコア（独自算出の注目度）: 42.86459618441938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning post-training drives reasoning and agentic capabilities in modern AI systems, yet a growing body of work shows that it is most effective when used to fine-tune an already capable base model. We question whether existing pipelines yield models that are most suitable for reinforcement learning. Building on prior work highlighting the role of coverage and pass@K as predictors of post-RL performance, we design a simple modification to supervised fine-tuning, TailSFT, which filters out already fit sequences during training, thereby focusing learning on under-modeled regions, or the tail, of the data distribution. We justify and validate the design choices in TailSFT, particularly the specific filtering criteria, through a combination of controlled experiments and theoretical analysis. On OLMo-3 7B, TailSFT often improves pass@16 performance on math and coding evaluations, with gains up to 17% absolute, while incurring minimal computational overhead. These higher-coverage checkpoints consistently translate to up to 4% absolute pass@1 gains in subsequent GRPO runs, demonstrating that TailSFT checkpoints serve as better initializations for RL. We further introduce a lightweight diagnostic for identifying settings where TailSFT is most likely to help. More broadly, our results motivate a principled, stage-aware approach to model development, in which intermediate checkpoints are judged by how effectively they support subsequent training.
• Abstract（参考訳）: 強化学習のポストトレーニングは、現代のAIシステムにおける推論とエージェント能力を促進するが、しかしながら、成長する仕事の体は、既に有能なベースモデルを微調整するのに最も効果的であることを示している。 既存のパイプラインが強化学習に最も適したモデルが得られるかどうかを問う。 本稿では,RL後の性能予測におけるカバレッジとpass@Kの役割を強調した先行研究に基づいて,教師付き微調整(TailSFT)の簡易な修正を設計する。 制御された実験と理論的解析を組み合わせることで,TailSFTの設計選択,特に特定のフィルタリング基準を正当化し,検証する。 OLMo-3 7Bでは、TailSFTは、計算オーバーヘッドを最小限に抑えながら、最大17%の絶対値を得て、数学とコーディングの評価でpass@16のパフォーマンスを向上する。 これらの高いカバレッジチェックポイントは、続くGRPOの実行で最大4%の絶対パス@1ゲインに一貫して変換され、TailSFTチェックポイントがRLのより優れた初期化として機能することを示した。 さらに、TailSFTが最も役立つであろう設定を特定するための軽量な診断も導入します。 より広範に、我々の結果はモデル開発に対する原則的段階認識アプローチを動機付け、中間チェックポイントは、後続のトレーニングをいかに効果的にサポートするかによって判断される。

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• TARo: Token-level Adaptive Routing for LLM Test-time Alignment [15.824259013420807]
  TARoステアは、推論時に完全に構造化された推論に向けて、大きな言語モデルを凍結した。 大規模な実験により、TARoはベースモデルで最大+22.4%の推論性能を著しく改善することが示された。 TARoはまた、小から大のバックボーンから再訓練せずに一般化する。
  論文  参考訳（メタデータ） (2026-03-19T02:18:40Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Supervised Fine Tuning on Curated Data is Reinforcement Learning (and can be improved) [3.13388270461847]
  我々は、教師付き微調整(SFT)と強化学習(RL)による最適政策の発見理論と実践との関係を描いている。 SFTに小さな修正を加えることで、RLのトレーニングに近く行動する重み付き変異が重要となることを示す。 我々は、この変種を重み付けされた教師付き微調整(iw-SFT)として参照する。
  論文  参考訳（メタデータ） (2025-07-17T07:26:54Z)
• Can Pre-training Indicators Reliably Predict Fine-tuning Outcomes of LLMs? [42.608899417822656]
  本研究では,501BパラメータLLM変種を用いて,系統的な事前学習構成を持つデータセットを構築した。 本稿では,事前学習から得られた新しい教師なしおよび教師なしのプロキシメトリクスを導入し,相対的な性能予測誤差率を50%以上削減する。
  論文  参考訳（メタデータ） (2025-04-16T21:19:09Z)
• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
  ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。 手作り正則化技術を用いた頑健な微調整への最近のアプローチ 我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:58:49Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。