論文の概要: Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features

• arxiv url: http://arxiv.org/abs/2609.33463v1
• Date: Sun, 27 Sep 2026 11:17:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:37:44.009183
• Title: Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features
• Title（参考訳）: SFTのためのトークン再重み付けの再考--Suppress, Reverse, and Expolate Learned Features
• Abstract要約: Supervised Fine-tuning (SFT) は、最も積極的な学習をトークンから行う。 本稿では,事前学習モデルとSFTデルタを凍結するエントロピー誘導型適応強度制御法を提案する。
• 参考スコア（独自算出の注目度）: 14.161295861192727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) learns most aggressively from tokens that the model deems least likely. This helps acquire new behaviors, but also amplifies noisy or conflicting supervision and can overwrite useful pretrained knowledge. Through a unified policy-loss view, we revisit existing token-reweighting methods and show that they assign nonnegative coefficients to demonstrated tokens. Consequently, they can suppress or amplify supervised updates, but cannot reverse harmful features once learned. Moreover, larger training weights do not amount to feature extrapolation, since they change the optimization trajectory rather than scale a fixed SFT direction. We argue that reversal and extrapolation require a stable reference frame defined by a fixed SFT delta. Motivated by this, we propose SCALE (Selective Control of Adaptation via Local Entropy), an entropy-guided adaptation-strength-control method that freezes the pretrained model and the SFT delta and learns bounded token- and module-specific gates by minimizing predictive entropy alone. These gates suppress, reverse, or extrapolate frozen SFT features according to their alignment with entropy reduction. Across Qwen2.5-Math-1.5B, Qwen2.5-Math-7B, and Qwen3-4B-Base, SCALE achieves mathematical-reasoning averages of 37.84, 43.60, and 36.57, exceeding the strongest corresponding baselines while remaining competitive on general-retention benchmarks. It also attains the best average code-generation performance across HumanEval, HumanEval+, and MBPP for all three models. These results suggest that effective SFT correction can benefit from controlling how already learned residuals are used, rather than only modifying how they are learned.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、最も積極的な学習をトークンから行う。 これは、新しい行動を取得するのに役立つだけでなく、ノイズや矛盾する監視を増幅し、有用な事前訓練された知識を上書きすることができる。 統一されたポリシ・ロス・ビューを通じて、既存のトークン再重み付け手法を再検討し、非負係数を証明トークンに割り当てることを示す。 その結果、教師付き更新を抑えるか、増幅することができるが、一度学習した有害な特徴を逆転することはできない。 さらに、より大きいトレーニング重量は、固定SFT方向をスケールするよりも最適化軌道を変更するため、外挿を特徴としない。 我々は、逆転と外挿は、固定されたSFTデルタで定義される安定した参照フレームを必要とすると論じる。 そこで本研究では,事前学習モデルとSFTデルタを凍結し,予測エントロピーのみを最小化することで,有界トークンおよびモジュール固有ゲートを学習するエントロピー誘導適応強度制御法であるSCALEを提案する。 これらのゲートは、エントロピー減少に伴うアライメントに応じて、凍結したSFT特性を抑制、反転、または外挿する。 Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen3-4B-Baseで、SCALEは37.84、43.60、36.57の数学的推論平均を達成した。 また、HumanEval、HumanEval+、MBPPの3つのモデルの平均コード生成性能でも最高である。 これらの結果は、SFTの効果的な補正は、学習方法を変更するだけでなく、既に学習された残基がどのように使われているかを制御することの恩恵をもたらすことを示唆している。

関連論文リスト

• Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning [42.13393879881966]
  Supervised Fine-tuning (SFT) は、異なるトークンが数学的推論のために不平等な学習信号を提供するにもかかわらず、全ての目標トークンに対して均一なクロスエントロピー損失を課す。 我々は,金メダルと最大の競合相手とのロジットギャップに応じてSFT損失を拡大する単純なトークンレベル再重み付け手法であるTrimSFTを提案する。 Llama,Qwen,DeepMathの5つの数学的推論ベンチマークを用いて,TrimSFTを6つのベースモデルで評価した。
  論文  参考訳（メタデータ） (2026-09-09T04:46:15Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models [48.335262141752715]
  拡散モデルのための後トレーニングパイプラインには、キュレートされたデータに対する教師付き微調整(SFT)と報酬モデルによる強化学習(RL)の2段階がある。 本稿では,このギャップを埋めるバイアス補正ポストトレーニング法であるSOAR(Self-Correction for Optimal Alignment and Refinement)を提案する。 オンライン政治であり、報酬なしであり、クレジット割り当ての問題なく、時間ごとの密集した監督を提供する。
  論文  参考訳（メタデータ） (2026-04-14T11:45:15Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)
• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• Entropy-Gated Selective Policy Optimization:Token-Level Gradient Allocation for Hybrid Training of Large Language Models [18.084251607403406]
  大規模言語モデルのハイブリッドトレーニング手法は、専門家によるデモンストレーションにおける教師付き微調整(SFT)とモデルロールアウトにおける強化学習(RL)を組み合わせる。 本稿では,トークンレベル勾配変調によるサンプルレベル混合を拡張する3段階フレームワークであるEntropy Gated Selective Policy Optimization (EGSPO)を提案する。 EGSPOは数学的推論ベンチマークにおいて一貫した改善を達成し、AIMEでは3.8%、CHORD phiベースラインでは2.9%、計算オーバーヘッドは3.4%に留まった。
  論文  参考訳（メタデータ） (2026-02-03T09:38:21Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。