論文の概要: Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2609.09707v1
• Date: Wed, 09 Sep 2026 04:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.902123
• Title: Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning
• Title（参考訳）: SFTが実際に学ぶべきことは何か? 数学的推論のToken-Trimming的視点
• Abstract要約: Supervised Fine-tuning (SFT) は、異なるトークンが数学的推論のために不平等な学習信号を提供するにもかかわらず、全ての目標トークンに対して均一なクロスエントロピー損失を課す。 我々は,金メダルと最大の競合相手とのロジットギャップに応じてSFT損失を拡大する単純なトークンレベル再重み付け手法であるTrimSFTを提案する。 Llama,Qwen,DeepMathの5つの数学的推論ベンチマークを用いて,TrimSFTを6つのベースモデルで評価した。
• 参考スコア（独自算出の注目度）: 42.13393879881966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) applies a uniform cross-entropy loss to all target tokens, even though different tokens provide unequal learning signals for mathematical reasoning. This uniform treatment can over-sharpen already mastered tokens while amplifying learning pressure on uncertain, low-confidence tokens, leading to suboptimal training dynamics. We propose Trimmed Logit-Gap SFT (TrimSFT), a simple token-level reweighting method that scales the SFT loss according to the logit gap between the gold token and its strongest competitor. TrimSFT trims supervision away from both extremes: tokens already mastered (large logit gap) and tokens weakly supported by the current model (small or negative logit gap), concentrating learning within an intermediate logit-gap region between them. We instantiate this principle with a Gaussian weight centered at margin m with bandwidth τ, requiring no reference model or additional forward pass. We evaluate TrimSFT on six base models from the Llama, Qwen, and DeepMath families across five mathematical reasoning benchmarks. TrimSFT consistently improves over standard SFT, achieving the best average performance on five out of six models, with gains of up to +26.9 points over SFT on MATH500. Further analyses show that the bandwidth τ matters more than the exact margin location, and that half-trim variants that remove supervision pressure from only one side yield inferior trade-offs. A token-level logit-gap distribution analysis suggests that TrimSFT reshapes model confidence in a more balanced way than uniform SFT or monotonic reweighting methods. These results suggest that reasoning SFT can benefit from trimming both extremes rather than treating all tokens uniformly.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、異なるトークンが数学的推論のために不平等な学習信号を提供するにもかかわらず、全ての目標トークンに対して均一なクロスエントロピー損失を課す。 この均一な処理は、既にマスターされたトークンをオーバーシャープし、不確実で信頼性の低いトークンに対する学習圧力を増幅し、最適以下のトレーニングダイナミクスをもたらす。 我々は,金メダルと最大の競合相手とのロジットギャップに応じてSFT損失を拡大する単純なトークンレベル再重み付け手法であるTrimSFTを提案する。 TrimSFTは、両方の極端から監督を遠ざけている: トークンは、既にマスターされている(大きなロジットギャップ)と、現在のモデル(小さいか負のロジットギャップ)によって弱く支持されているトークン、中間ロジットギャップ領域での学習に集中する。 我々はこの原理を、帯域幅τのマージンmを中心とするガウス重みでインスタンス化し、参照モデルや追加のフォワードパスを必要としない。 Llama,Qwen,DeepMathの5つの数学的推論ベンチマークを用いて,TrimSFTを6つのベースモデルで評価した。 TrimSFTは標準のSFTよりも一貫して改善されており、MATH500ではSFTよりも最大で26.9ポイントのアップを達成している。 さらに分析したところ、バンド幅τは正確なマージン位置よりも重要であり、一方の側から監督圧力を除去する半トリム変種は劣るトレードオフをもたらすことが示された。 トークンレベルのロジットギャップ分布解析により、TrimSFTは一様SFT法や単調リウェイト法よりもバランスの取れた方法でモデルの信頼性を高めることが示唆された。 これらの結果は,全てのトークンを均一に扱うよりも,両極端をトリミングする方が有益であることを示している。

関連論文リスト

• Online Self-Weighted Fine-Tuning [13.544097764061886]
  強化学習(RL)に基づく手法は,モデル生成ロールアウトを用いて更新強度を適応する。 オンライントラジェクトリレベルの重み付けによりSFTを増強する簡単な方法である textbfOnline Self-Weighted Fine-Tuning (OSW-FT) を提案する。 OSW-FTは小さなスケールモデルではSFTよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2026-09-01T05:12:45Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Learnability-Informed Fine-Tuning of Diffusion Language Models [50.420674346943294]
  拡散言語モデル(DLM)のための効率的なSFTベースのポストトレーニングアルゴリズムであるLIFTを提案する。 LIFTは、ほとんどの入力がマスクされ、より多くのコンテキストが利用可能になったときに、簡単なトークンを学習し、異なる拡散時間ステップで利用可能な情報とトレーニングを整合させる。 その結果,LIFT は既存の SFT ベースラインを6つの推論ベンチマークで上回り,AIME'24 と AIME'25 の3倍に向上した。
  論文  参考訳（メタデータ） (2026-05-21T18:16:17Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Balanced Thinking: Improving Chain of Thought Training in Vision Language Models [6.47886000593456]
  視覚言語モデルにおけるマルチモーダル推論は、教師付き微調整と強化学習という2段階のプロセスに依存している。 動的で長さに依存しない重み付けを用いて、推論と回答セグメントの監督を明示的に分離するSCALeを提案する。 その結果,SCALeはバニラSFTよりも常に精度を向上し,フル2相SFT+GRPOパイプラインの性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2026-03-19T09:21:49Z)
• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• Enhancing Large Language Model Reasoning via Selective Critical Token Fine-Tuning [18.934789236342244]
  大規模言語モデル (LLM) は主に、数学的推論のようなドメイン固有のタスクに事前訓練されたモデルを適用するために、教師付き微調整 (SFT) に依存している。 標準SFTは全てのトークンを一様に罰し、臨界トークンの小さなサブセットだけが推論の正しさを決定することを無視する。 本稿では, 機能的に欠かせないトークンのみを, 対向的摂動によって更新する, 単純かつ効果的なアプローチであるCritical Token Fine-tuning(CFT)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:25:36Z)
• Training Large Language Models To Reason In Parallel With Global Forking Tokens [12.234584843683416]
  LLMは並列テスト時間計算のスケーリングによる性能向上を実証している。 困難な問題に対して、多種多様な正しい推論モードをトリガーするトークンをフォークすることは、通常サンプリングツリーの奥深くにある。 本研究では,ユニークな推論モードを保ち,創発的なグローバルフォークトークンを生成するSet Supervised Fine-Tuning (SSFT)を提案する。
  論文  参考訳（メタデータ） (2025-10-01T02:48:39Z)
• On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification [61.607788999847564]
  LLM(Large Language Model)のためのSFT(Supervised Fine-Tuning)の改良法を提案する。 標準SFT勾配は、モデルの一般化能力を著しく制限する問題のある報酬構造を暗黙的に符号化する。 本稿では,このトークンの確率で目的関数を動的に再スケーリングすることにより,各トークンの勾配を安定化する動的微調整(DFT)を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。