論文の概要: Why Alignment Must Precede Distillation: A Minimal Working Explanation

• arxiv url: http://arxiv.org/abs/2509.23667v1
• Date: Sun, 28 Sep 2025 06:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.362169
• Title: Why Alignment Must Precede Distillation: A Minimal Working Explanation
• Title（参考訳）: なぜアライメントがプレセド蒸留に必要か:最小限の作業説明
• Authors: Sungmin Cha, Kyunghyun Cho,
• Abstract要約: 標準のKD -> Alignワークフローは、稀だが望ましい振る舞いを整列するためにモデルの能力を低下させる。 蒸留に先立って,まず高リコール基準でアライメントを行わなければならないことを示す。
• 参考スコア（独自算出の注目度）: 50.784080714897776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For efficiency, preference alignment is often performed on compact, knowledge-distilled (KD) models. We argue this common practice introduces a significant limitation by overlooking a key property of the alignment's reference model: its distributional recall. We show that the standard KD -> Align workflow diminishes the model's capacity to align rare yet desirable behaviors, even under strong preference signals. We instead demonstrate that reversing the pipeline (i.e., Align -> KD) is essential: alignment must first be performed on a high-recall reference before distillation. Our contributions are threefold. First, we provide a minimal working explanation of how the reference model constrains preference alignment objectives at a fundamental level. Second, we validate this theory in a controllable Mixture-of-Gaussians experiment, where low-recall anchoring consistently results in suboptimal model performance. Finally, we demonstrate that the same phenomenon holds in LLM alignment with the SmolLM2 family: models aligned after KD fail to effectively align target behaviors, resulting in substantially lower reward and target precision. In contrast, our proposed Align -> KD pipeline robustly aligns these behaviors, yielding models with superior target-oriented metrics and lower variance. Together, these results establish reference-model recall as a first-order design choice in alignment, offering a clear principle: alignment must precede distillation.
• Abstract（参考訳）: 効率性のために、好みのアライメントは、しばしばコンパクトで知識蒸留(KD)モデルで実行される。 この慣習は、アライメントの参照モデルの重要な性質、すなわち分布的リコールを見渡すことによって、大きな制限をもたらすと我々は主張する。 KD-> 標準ワークフローは、強い嗜好信号の下でも、希少かつ望ましい振る舞いを整列するモデルの能力を低下させることを示す。 代わりに、パイプラインの反転(すなわち Align -> KD)が不可欠であることを示す。 私たちの貢献は3倍です。 まず、参照モデルがどのように優先順位付け目的を基本レベルで制約するかについて、最小限の作業説明を提供する。 第2に、この理論を制御可能な混合ガウス実験で検証し、低リコールアンカリングが常に準最適モデル性能をもたらすことを示した。 最後に、この現象がSmolLM2ファミリーとLLMのアライメントに関係していることを示し、KDが目標動作を効果的に整列できなかった後にモデルが整列すると、報酬と目標精度が大幅に低下することを示した。 対照的に、提案したAlign -> KDパイプラインは、これらの挙動を頑健に調整し、より優れた目標指向メトリクスと低い分散度を持つモデルを生成する。 これらの結果は、アライメントにおける一階設計選択として参照モデルリコールを確立し、明確な原則を提供する:アライメントは蒸留に先立って行う必要がある。

関連論文リスト

• Rethinking Preference Alignment for Diffusion Models with Classifier-Free Guidance [8.038055165320195]
  ベースモデルを再訓練することなくアライメントを改善する簡単な手法を提案する。 一般化をさらに高めるため、選好学習を正と負のデータに基づいて訓練された2つのモジュールに分離する。 我々はPick-a-Pic v2およびHPDv3を用いた安定拡散1.5および安定拡散XLの評価を行い、一貫した定量的および定性的な利得を示した。
  論文  参考訳（メタデータ） (2026-02-21T11:18:52Z)
• Positive-Unlabeled Reinforcement Learning Distillation for On-Premise Small Models [130.8912476550625]
  そこで本研究では, 現場での小型モデル展開のための正の無ラベル(PU)強化学習蒸留法を提案する。 本手法は,教師の好み最適化能力をブラックボックス世代から地元の訓練可能な学生に蒸留する。 実験により,本手法は低コストで一貫した強靭な性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-28T15:14:50Z)
• EpiCaR: Knowing What You Don't Know Matters for Better Reasoning in LLMs [9.412828452977553]
  既存のアプローチは成功した推論パスを強化し、かなりのキャリブレーションコストを発生させる。 この失敗は、アライメントにおけるモデル崩壊の一形態として特徴づけられている。 推論性能とキャリブレーションを協調的に最適化する訓練目標として,EpiCaRを提案する。
  論文  参考訳（メタデータ） (2026-01-11T06:21:13Z)
• Navigating the Alignment-Calibration Trade-off: A Pareto-Superior Frontier via Model Merging [35.958192369444056]
  ポストトレーニングの「アライメント税」は通常、タスクの正確さの低下として表される。 また、キャリブレーションが著しく失われ、モデルが過度に信頼され、信頼性が低く、モデル出力がより多様になることも示しています。 このトレードオフは、モデルの重みの補間とアライメント前後の補間という、単純なポストホック介入によって効果的にナビゲートできることを示す。
  論文  参考訳（メタデータ） (2025-10-20T11:12:41Z)
• Preference Trajectory Modeling via Flow Matching for Sequential Recommendation [50.077447974294586]
  シーケンスレコメンデーションは、履歴的なインタラクションシーケンスに基づいて、各ユーザの次の項目を予測する。 FlowRecはシンプルだが効果的なシーケンシャルレコメンデーションフレームワークである。 我々は,ガウス雑音に代えてパーソナライズされた行動に基づく事前分布を構築し,ユーザの嗜好軌跡をモデル化するためのベクトル場を学習する。
  論文  参考訳（メタデータ） (2025-08-25T02:55:42Z)
• Convergent Linear Representations of Emergent Misalignment [1.3286418032136589]
  微調整された大きな言語モデルは、広範に不整合な振る舞いを発達させる可能性がある。 9個のランク1アダプターでQwen2.5-14B-インストラクタを異常に除去するミニマルモデル生物について検討した。
  論文  参考訳（メタデータ） (2025-06-13T09:39:54Z)
• Alignment as Distribution Learning: Your Preference Model is Explicitly a Language Model [12.063078727764045]
  人間のフィードバックからの強化学習によるアライメントは理論的正当性に欠け、決定論的解のインセンティブを与える。 本稿では, 優先最大推定, 優先蒸留, 逆KL最小化の3つの基本学習目標を提案する。 我々は、我々の分布学習フレームワーク、特に嗜好蒸留が、RLHFとDPOのパフォーマンスを一貫して上回るか、あるいは一致しているかを実証的に示す。
  論文  参考訳（メタデータ） (2025-06-02T10:36:31Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
  曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。 提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。 プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-07T03:18:00Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。