論文の概要: Beyond Distribution Matching: Selective Margin Preservation for Supervised Fine-Tuning
- arxiv url: http://arxiv.org/abs/2610.19685v1
- Date: Wed, 14 Oct 2026 07:09:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.997378
- Title: Beyond Distribution Matching: Selective Margin Preservation for Supervised Fine-Tuning
- Title（参考訳）: Beyond Distribution Matching: Supervised Fine-Tuningのための選択的なマージン保存
- Abstract要約: Supervised Fine-tuning (SFT) は教師が強制した接頭辞における非ターゲットトークンのロジットマージンを変化させる。
我々は,ソフト補助装置が,その分布を凍結することなく,選択された局所的非ターゲットマージン関係を保存できるかどうかを問う。
ソフトマージンターゲットであるtextbfSelective Rank-Preserving SFT (SRP-SFT) を導入する。
- 参考スコア（独自算出の注目度）: 21.211313676021952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised fine-tuning (SFT) changes logit margins among non-target tokens at teacher-forced prefixes. Matching a local reference distribution keeps those probabilities and also penalizes margin expansions. We ask whether a soft auxiliary can preserve selected local non-target margin relations without freezing that distribution. We introduce \textbf{Selective Rank-Preserving SFT (SRP-SFT)}, a soft margin target: a hinge on reference-scaled lower bounds for pairs from the reference's top-$K$ non-target tokens, applied at fixed teacher-forced prefixes. The hinge stops once the requested bound is met. We derive the KL cost of violating a margin, characterize the feasible region and its conditional utility, and give a finite-step condition for reducing aggregate violations. In one-epoch experiments on Qwen3-4B-Base and UltraFeedback, this target raises MATH-500 and code-generation scores over CE and LP-SFT at all three training seeds. At seed 1234, MATH-500 pass@1 rises from 49.56\% to 54.56\% and the four-metric code mean rises from 65.91\% to 69.50\% relative to LP-SFT. Ranking controls, held-out cache diagnostics, sensitivity sweeps, and six additional backbones show where these score changes appear.
- Abstract（参考訳）: Supervised Fine-tuning (SFT) は教師が強制した接頭辞における非ターゲットトークンのロジットマージンを変化させる。
局所的な参照分布のマッチングはそれらの確率を保ち、マージン拡大を罰する。
我々は,ソフト補助装置が,その分布を凍結することなく,選択された局所的非ターゲットマージン関係を保存できるかどうかを問う。
ソフトマージンターゲットである「textbf{Selective Rank-Preserving SFT(SRP-SFT)」を導入する。
要求された境界が満たされると、ヒンジは停止する。
我々は, マージンに違反するKLコストを導出し, 実現可能な領域とその条件付きユーティリティを特徴付けるとともに, 集合的違反を低減するための有限ステップ条件を与える。
Qwen3-4B-BaseとUltraFeedbackのワンエポックな実験では、3つのトレーニング種すべてに対してMATH-500とコード生成スコアをCEとLP-SFTで上げる。
シード1234では、MATH-500 pass@1は49.56\%から54.56\%に上昇し、4メトリックコードは、LP-SFTと比較して65.91\%から69.50\%に上昇する。
ランク付けコントロール、ホールドアウトキャッシュ診断、感度スイープ、追加の6つのバックボーンは、これらのスコアの変化がどこに現れるかを示しています。
関連論文リスト
- A Few More Tokens Ahead: Reinforcing Parallelism in Diffusion LLMs [65.34697913623683]
グループ相対的ポリシー最適化により,短時間のトークンブロックを強化し,ロールアウトとログ確率再計算のコストを削減するReParaを提案する。
我々のGSM8KとMATH-500の精度は、JustGRPOよりも格段に改善され、LLaDA/MATHセットアップの1.96倍のトレーニングステップが高速化された。
論文 参考訳（メタデータ） (2026-10-13T11:37:04Z) - Soft Teacher Forcing [67.25703741093041]
ソフトトークンは、これまでのところ、遅延推論法において、個別のチェーン・オブ・シークレットを置き換えるために使われてきた。
我々は,教師力の埋め込みとソフトトークンをランダムな凸の組み合わせで組み合わせた簡単なトレーニングアルゴリズムであるソフト・インストラクター・フォーシング(Soft-TF)を紹介した。
実験によると、Soft-TFはGSM8K、MATH、MathQA、AQuAの教師付き微調整よりも、GSM8Kの7つのGemma、Llama、Mistralモデルで+2.1から+4.1ポイント改善している。
論文 参考訳（メタデータ） (2026-10-12T17:55:19Z) - UO-FIE: Combining Exact-Label Supervision with Graded Utility for Factivity Inference [0.0]
アクティビティ推論評価2026(FIE2026)は、中国の文脈と仮説のペアを9つの順序の事実区間に分類する。
UO-FIE(Utility-Oriented F Activity Inference)は、正確なラベル管理とグレードユーティリティを組み合わせたパラメータ効率の高いシステムである。
論文 参考訳（メタデータ） (2026-09-23T16:24:57Z) - Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning [42.13393879881966]
Supervised Fine-tuning (SFT) は、異なるトークンが数学的推論のために不平等な学習信号を提供するにもかかわらず、全ての目標トークンに対して均一なクロスエントロピー損失を課す。
我々は,金メダルと最大の競合相手とのロジットギャップに応じてSFT損失を拡大する単純なトークンレベル再重み付け手法であるTrimSFTを提案する。
Llama,Qwen,DeepMathの5つの数学的推論ベンチマークを用いて,TrimSFTを6つのベースモデルで評価した。
論文 参考訳（メタデータ） (2026-09-09T04:46:15Z) - ReNFT: Repairing Mode Collapse in Reward Post-Training via Internal Probability-Mass Recalibration [84.10540890311843]
再学習後、必然的に確率質量をいくつかの報奨モード、即時多様性を消去するモード崩壊に集中させる。
本稿では、内部の確率質量再校正により、高逆低ダイバーシティアダプタを修復するReNFTを提案する。
PickScoreとGenEvalでは、ReNFTはNFTの報酬の98.9%と99.0%を保持し、DreamSim-Divは58.8%、55.0%改善している。
論文 参考訳（メタデータ） (2026-08-30T14:13:50Z) - CADENCE: Closing the Reasoning Gap via Coverage-Adaptive On-Policy Distillation [2.587194279527956]
CADENCEは統合されたフレームワークで、各障害モードに対してターゲットとなる修正を行う。
DRIFTは、学生サンプル軌道上の前方KLと逆KLのサロゲートを混合したトーケンの凸をスケジュールする。
A)COVA、(B)FTB、(B)大域正規化エントロピー参照による高エントロピー位置での勾配集中、(D)LAP、可視性優先正しいロールアウト強化、(E)エントロピー非依存キャリブレーション
論文 参考訳（メタデータ） (2026-07-18T20:16:26Z) - Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions [80.33276868889341]
Z-Rewardは効率的な報酬展開から推論と重大な判断を分離する。
Z-Reward はテキスト・画像の最適化のための識別可能な報酬信号として機能することを示す。
論文 参考訳（メタデータ） (2026-06-08T06:20:12Z) - A Penalty-Free Pipeline for Direct Quantum-Annealer Portfolio Optimization [0.0]
直接量子アニーラーポートフォリオ最適化は、一般にD-Waveハードウェアに送信されるペナルティ符号化QUBOとして定式化される。
この標準定式化は、現在のデバイスでは失敗し、構造的理由を特定する。
期待したリターンから目的のみのQUBOを構築し、それをハードウェア上でサンプリングする。
論文 参考訳（メタデータ） (2026-05-17T19:50:04Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - HeadRank: Decoding-Free Passage Reranking via Preference-Aligned Attention Heads [13.667803158231182]
HeadRankは、離散トークン空間から連続的な注意領域への好みの最適化を促進するフレームワークである。
4Bでは、関連する中間ゾーン文書の57.4%が4位、関係のない文書は14.2%に達した。
論文 参考訳（メタデータ） (2026-04-19T03:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。