論文の概要: What Should SFT Learn? Conditional Information Gain for Generalizable Post-Training

• arxiv url: http://arxiv.org/abs/2610.12995v1
• Date: Fri, 09 Oct 2026 04:57:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.393811
• Title: What Should SFT Learn? Conditional Information Gain for Generalizable Post-Training
• Title（参考訳）: SFTは何を学べばよいのか : 総合的なポストトレーニングのための条件付き情報ゲイン
• Abstract要約: Supervised Fine-tuning (SFT) は、大規模言語モデルの訓練後に広く使われるアプローチである。 本稿では,各トークンが持つタスク条件情報を推定する情報理論フレームワークであるCIG-SFTを提案する。
• 参考スコア（独自算出の注目度）: 41.10940038446798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) remains a widely used approach for post-training large language models, because fixed demonstrations can directly introduce desired reasoning strategies and behavioral patterns. Yet forcing a model to imitate externally provided trajectories may also interfere with behaviors already supported by pretraining, limiting generalization beyond the training distribution. Recent dynamic SFT methods mitigate this issue by reweighting token-level supervision according to model-side signals such as predictive probability, prior support, or distributional compatibility. However, model compatibility is not equivalent to learning value: a token that is weakly supported by the current model may either be an undesirable mismatch or precisely the task-specific decision that the demonstration is intended to teach. We propose CIG-SFT, an information-theoretic framework that estimates the task-conditioned information carried by each demonstrated token. Under teacher forcing, we compare the token likelihood from a frozen reference model with and without access to the task input while keeping the gold solution prefix fixed. The resulting conditional information gain quantifies how much the task itself reduces uncertainty about the demonstrated decision. We then convert this information into a KL-regularized projection of the current policy and derive an equivalent scalar-weighted SFT objective whose logit gradient exactly matches that of the projected target. Across mathematical reasoning and code-generation benchmarks, CIG-SFT consistently outperforms standard SFT and recent adaptive fine-tuning baselines, with particularly strong improvements in generalization to challenging evaluation distributions, while requiring neither additional training data nor online rollouts.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、大規模な言語モデルの訓練後に広く使われるアプローチであり、固定的なデモは望ましい推論戦略や行動パターンを直接導入することができる。 しかし、モデルに外部に供給された軌道を模倣させると、事前学習によって既に支持されている行動に干渉し、訓練分布を超えて一般化を制限する。 近年の動的SFT法では,予測確率や事前サポート,分散整合性といったモデル側信号に基づいてトークンレベルの監視を緩和することで,この問題を緩和している。 しかし、モデルの互換性は学習価値と等価ではない。現在のモデルで弱いサポートを受けているトークンは、望ましくないミスマッチか、あるいはデモが教えることを意図したタスク固有の決定であるかもしれない。 本稿では,各トークンが持つタスク条件情報を推定する情報理論フレームワークであるCIG-SFTを提案する。 教師の強制下では、凍結参照モデルと、ゴールドソリューションの接頭辞を固定しながらタスク入力にアクセス・アクセスしないトークンの可能性を比較する。 結果の条件情報ゲインは、タスク自体が示される決定の不確実性をどの程度低減するかを定量化する。 次に、この情報を現在の方針のKL正規化プロジェクションに変換し、ロジット勾配が投影対象と正確に一致した等価なスカラー重み付きSFT目標を導出する。 数学的推論とコード生成ベンチマーク全体にわたって、CIG-SFTは標準のSFTと最近の適応的な微調整ベースラインを一貫して上回り、特に、トレーニングデータもオンラインロールアウトも必要とせず、評価分布の挑戦への一般化に強い改善が加えられている。

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• InfoSFT: Learn More and Forget Less with Information-Aware Token Weighting [29.514746370429965]
  Supervised Fine-tuning (SFT)は、オフラインの専門家によるデモンストレーションからLLMに新しい振る舞いを教えるための標準的なアプローチを提供する。 標準SFTは、ベースモデルの下で低い可能性のサンプルを含む全てのサンプルに均一に適合する。 本稿では,SFT 目的のための原則重み付け方式であるInfoSFTを提案する。
  論文  参考訳（メタデータ） (2026-05-14T15:32:37Z)
• Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment [16.352863226512984]
  テスト時間適応(TTA)は、推論中にラベルのないテストデータを活用することにより、分散シフト下でのゼロショットロバスト性を高める。 ほとんどのメソッドは、スケーラビリティを制限し、リアルタイムデプロイメントを妨げるバックプロパゲーションや反復最適化に依存しています。 本稿では,Advanced Distribution-AwareとBack propagation-free Test-time Adapting法であるADAPTを提案する。
  論文  参考訳（メタデータ） (2025-08-21T13:42:49Z)
• On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification [61.607788999847564]
  LLM(Large Language Model)のためのSFT(Supervised Fine-Tuning)の改良法を提案する。 標準SFT勾配は、モデルの一般化能力を著しく制限する問題のある報酬構造を暗黙的に符号化する。 本稿では,このトークンの確率で目的関数を動的に再スケーリングすることにより,各トークンの勾配を安定化する動的微調整(DFT)を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:59:04Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。