論文の概要: A Unifying Lens on Supervised Fine-Tuning Through Target Distribution Design

• arxiv url: http://arxiv.org/abs/2606.11189v1
• Date: Tue, 09 Jun 2026 17:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.666424
• Title: A Unifying Lens on Supervised Fine-Tuning Through Target Distribution Design
• Title（参考訳）: 目標分布設計による微調整の統一レンズ
• Authors: Tong Xie, Yuanhao Ban, Yunqi Hong, Sohyun An, Yihang Chen, Cho-Jui Hsieh,
• Abstract要約: スーパーバイザード・ファインチューニング(SFT)は典型的には、証明された軌道における全てのトークンの確率を最大化する。 この1ホットターゲットに対する厳密な適合性は、特に事前訓練されたモデルが事前に豊富な知識を符号化する場合に最適である。 本研究では、SFTを目標分布設計として再解釈し、損失目標のみを研究する代わりに、損失がモデルに一致させるトークンレベル目標を分析する。
• 参考スコア（独自算出の注目度）: 47.42907478044802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) typically maximizes the likelihood of every token in a demonstrated trajectory. However, an observed token can be non-unique, noisy, or misaligned with the model prior. Strictly fitting toward this one-hot target may be suboptimal, especially when the pretrained model encodes a rich knowledge prior. In this work, we reinterpret SFT as target distribution design: instead of studying only the loss objective, we analyze the token-level target that the loss drives the model to match. We introduce the Q-target framework, which decomposes SFT supervision into two explicit choices: (1) how strongly to rely on the observed token, and (2) how to allocate the remaining probability mass over alternatives. This perspective unifies many existing SFT variants as implicit choices of the target distribution Q. Building on this view, we propose Target-SFT which constructs the training objective directly from the desired target distribution. This method consistently outperforms across the ten reasoning dataset-model settings evaluated, showing the effectiveness of this target-based approach. Overall, our formulation reveals a more fundamental design principle for SFT training and opens a broader search space for SFT objectives.
• Abstract（参考訳）: スーパーバイザード・ファインチューニング(SFT)は典型的には、証明された軌道における全てのトークンの確率を最大化する。 しかし、観測されたトークンは、以前のモデルと不一致、ノイズ、あるいは不一致である可能性がある。 この1ホットターゲットに対する厳密な適合性は、特に事前訓練されたモデルが事前に豊富な知識を符号化する場合に最適である。 本研究では、SFTを目標分布設計として再解釈し、損失目標のみを研究する代わりに、損失がモデルに一致させるトークンレベル目標を分析する。 我々は,SFTの監督を2つの明確な選択に分解するQ-targetフレームワークを紹介した。 この視点では、既存の多くのSFT変種を目標分布Qの暗黙の選択として統一し、この視点に基づいて、所望の目標分布から直接学習目標を構築するターゲットSFTを提案する。 この手法は、このターゲットベースアプローチの有効性を示し、評価された10の推論データセットモデル設定において一貫して優れる。 本定式化により,SFTトレーニングのより基本的な設計原則が明らかになり,SFT目的のためのより広い検索空間が開放される。

関連論文リスト

• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• Whatever Remains Must Be True: Filtering Drives Reasoning in LLMs, Shaping Diversity [13.211627219720796]
  強化学習(Reinforcement Learning, RL)は、推論に関わる課題を解決するためにLLMをチューニングするためのデファクトスタンダードとなっている。 我々は、RLが暗黙的に「モード探索」あるいは「ゼロ強制」逆KLを目標分布に最適化し、モデルがターゲットの特定の高確率領域に質量を集中させることを論じる。 そこで本研究では,まず,正解の相対確率を無視しながら,不正確な解をフィルタリングして得られる明示的対象分布から始める。
  論文  参考訳（メタデータ） (2025-12-05T18:56:40Z)
• Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum [88.90314335542281]
  確率に基づく目的のファミリーを研究し、異なる条件下での有効性を特徴付ける。 客観的行動を管理する重要な次元、すなわちモデル能力の連続性を明らかにする。 我々の理論的分析は、目的が連続体を横断してどのように取引されるかをさらに解明し、目的をモデル能力に適応するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-10-01T05:17:47Z)
• When few labeled target data suffice: a theory of semi-supervised domain adaptation via fine-tuning from multiple adaptive starts [5.839411310096219]
  半教師付きドメイン適応(SSDA)は、限られたラベル付きターゲットデータを用いて、ターゲット領域で高い予測性能を達成することを目的としている。 本研究では,構造因果モデル(SCM)に基づく理論的枠組みを構築し,ラベル付き対象データに制限がある場合のSSDA手法の性能解析と定量化を可能にする。 本稿では,複数の出発点からUDAモデルを微調整し,最適性能を選択するマルチ・アダプティブ・スタート・ファイン・チューニング(MASFT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-19T15:18:28Z)
• Aligning Latent Spaces with Flow Priors [72.24305287508474]
  本稿では,学習可能な潜在空間を任意の目標分布に整合させるための新しいフレームワークを提案する。 特に,提案手法は計算コストの高い確率評価を排除し,最適化時のODE解決を回避する。
  論文  参考訳（メタデータ） (2025-06-05T16:59:53Z)
• Self-training through Classifier Disagreement for Cross-Domain Opinion Target Extraction [62.41511766918932]
  オピニオンターゲット抽出(OTE)またはアスペクト抽出(AE)は意見マイニングの基本的な課題である。 最近の研究は、現実世界のシナリオでよく見られるクロスドメインのOTEに焦点を当てている。 そこで本稿では,ドメイン固有の教師と学生のネットワークから出力されるモデルが未学習のターゲットデータと一致しない対象サンプルを選択するためのSSLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:31:17Z)
• TarGF: Learning Target Gradient Field for Object Rearrangement [8.49306925839127]
  我々は、オブジェクト配置のより実用的な設定、すなわち、シャッフルされたレイアウトから規範的なターゲット分布へオブジェクトを並べ替えることに焦点を当てる。 報酬工学の目標分布(目標仕様)を記述したり、専門家の軌跡を実証として収集することは困難である。 我々は、目標勾配場(TarGF)の学習にスコアマッチングの目的を用い、目標分布の可能性を高めるために各対象の方向を示す。
  論文  参考訳（メタデータ） (2022-09-02T07:20:34Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。