論文の概要: Optimal Self-Distillation for Rectified Flow via Linear Probing

• arxiv url: http://arxiv.org/abs/2607.14947v1
• Date: Thu, 16 Jul 2026 12:57:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.116041
• Title: Optimal Self-Distillation for Rectified Flow via Linear Probing
• Title（参考訳）: 線形探査による整流流れの最適自己蒸留法
• Abstract要約: 直流(RF)の最適自己蒸留(SD)について検討し,教師の速度場が最適である場合,真のRF速度と教師の速度の混合を訓練すれば,教師を確実に向上させることができるか? 最適な自己蒸留により,教師と純粋蒸留の双方に対して,速度リスク,モード回復,有限ステップ生成が向上することを示す。
• 参考スコア（独自算出の注目度）: 14.849918494248028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern generative models are increasingly trained using model-generated signals, creating both opportunities for self-improvement and risks of collapse. We study optimal self-distillation (SD) for rectified flow (RF): given a suboptimal teacher velocity field, can a student trained on a mixture of true RF velocities and teacher velocities provably improve the teacher? For linear RF with ridge regularization on fixed interpolation pairs, we prove an exact affine path identity, derive the optimal mixing coefficient in closed form, and show strict improvement in integrated velocity risk whenever the teacher risk is nonstationary along the regularization path. The optimal coefficient obeys a sign rule: positive mixing corrects under-regularized teachers, while negative mixing corrects over-regularized teachers. We also give one-shot generalized cross-validation (GCV) and validation tuning procedure that avoids grid search over mixing weights and repeated refitting. Combining this theorem with RF Wasserstein convergence bounds, we show that optimal self-distillation improves the velocity estimation terms controlling continuous-time and finite-step generation error. Experiments with Gaussian models, Gaussian mixtures, and image data show that optimal self-distillation improves velocity risk, mode recovery, and finite-step generation relative to both the teacher and pure distillation.
• Abstract（参考訳）: 現代の生成モデルは、モデル生成信号を用いて訓練され、自己改善の機会と崩壊のリスクの両方を生み出している。 直流(RF)の最適自己蒸留(SD)について検討し,教師の速度場が最適である場合,真のRF速度と教師の速度の混合を訓練すれば,教師を確実に向上させることができるか? 固定補間対に隆起正則化を施した線形RFに対して, 正確なアフィン経路の同一性を証明し, 閉形式の最適混合係数を導出し, 教師のリスクが正規化経路に沿って非定常である場合に, 積分速度リスクを厳密に改善することを示す。 正混合は非正規化教師を正し、負混合は過正規化教師を正す。 また,重みの混合や繰り返し再構成によるグリッド探索を回避し,一括一般化クロスバリデーション(GCV)とバリデーションチューニングを行う。 この定理とRFワッサーシュタイン収束境界を組み合わせることで、最適自己蒸留が連続時間および有限ステップ生成誤差を制御する速度推定項を改善することを示す。 ガウス模型、ガウス混合物、画像データによる実験により、最適な自己蒸留は教師と純粋蒸留の両方に対して、速度リスク、モード回復、有限ステップ生成を改善することが示された。

関連論文リスト

• Confusion-Geometry Rebalancing for Long-Tailed Adversarial Training [53.3522202888031]
  長い尾の分布の下での敵の訓練は二重の不均衡に悩まされ、クラス不均衡はヘッドクラスに対する訓練目標を歪ませる。 そこで本研究では,有向なロバストな誤りを学習信号として活用するプラグインフレームワークである長尾逆行訓練のためのコンフュージョン幾何分散法(CGRm)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T14:54:00Z)
• LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
  フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T04:47:57Z)
• Prediction-Only Distillation in Linear and Logistic Regression [61.07540493350384]
  自己蒸留は典型的には、学生が教師の元々のトレーニングインプットで再訓練されるときに研究される。 我々は、新しいX予測混合方式により、この予測のみの方式でSDを研究する。 二項ロジスティック回帰では、予測混合は教師と純蒸留の両方より優れていることを示す。
  論文  参考訳（メタデータ） (2026-07-16T20:45:56Z)
• Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment [7.13416637929041]
  拡散および連続フロー生成モデルは高品質な生成を実現する。 リフローに基づく蒸留は、教師のODE軌道を単純化し、生徒モデルが教師の移動を少ないステップで近似できるようにする。 本稿では,各蒸留間隔の終点において,学生が引き起こした限界値とそれに対応する教師の限界値との差分をペナライズする境界アライメント正規化器を提案する。
  論文  参考訳（メタデータ） (2026-06-28T09:19:44Z)
• Global Convergence of Gradient Descent for Score Matching in Gaussian Mixtures via Reverse Fisher Divergence [67.12978375116599]
  そこで本研究では,学生分布に対する期待値の逆のフィッシャー発散(Fisher divergence)について検討する。 我々は、目標平均に対して$widetilde(1)$-separationの仮定の下で、大域収束保証を証明した。 我々はリアプノフに基づく勾配勾配勾配の動的解析を頼りにしており、逆のフィッシャー発散は前方のフィッシャー発散よりもはるかに良い最適化環境を持つことが示されている。
  論文  参考訳（メタデータ） (2026-06-18T07:34:33Z)
• Mean Flow Distillation: Robust and Stable Distillation for Flow Matching Models [34.59515048908997]
  Mean Flow Distillation (MFD) はフローマッチングモデルに適した新しい蒸留フレームワークである。 MFDは時間的低域通過フィルタとして機能し、高周波最適化ノイズを効果的に抑制する。 平均流整合定理を証明し、一致した平均速度が厳密な分布アライメントに十分であることを示す。
  論文  参考訳（メタデータ） (2026-06-09T17:39:19Z)
• PVRF: All-in-one Adverse Weather Removal via Prior-modulated and Velocity-constrained Rectified Flow [69.40969296005794]
  そこで本研究では,ゼロショット型軟弱感と速度制約付き整流補正を統合した統合フレームワークを提案する。 PVRFは、最先端のベースラインよりも忠実さと知覚品質の両方を改善する。
  論文  参考訳（メタデータ） (2026-05-13T19:07:14Z)
• The Coupling Within: Flow Matching via Distilled Normalizing Flows [45.3372883861006]
  フロートレーニングにおいて重要な要素は、ノイズ/データペアをサンプリングする結合尺度の選択である。 そこで本研究では,NFモデルの準決定論的結合を蒸留し,学生のフローモデルを学習するための正規化フローマッチングを提案する。
  論文  参考訳（メタデータ） (2026-03-09T23:07:36Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
  本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。 提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。 SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
  論文  参考訳（メタデータ） (2025-07-24T16:45:05Z)
• Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。 RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。 自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-19T17:21:03Z)
• Elucidating the Preconditioning in Consistency Distillation [25.213664260896103]
  整合性ギャップに応じて事前条件を解析的に最適化する「textitAnalytic-Precond」を提案する。 そこで我々は,Analytic-Precondがトラジェクトリ・ジャンパーの学習を容易にし,生徒のトラジェクトリと教師のトラジェクトリのアライメントを高め,一貫性トラジェクトリモデルのトレーニングアクセラレーションを2倍から3倍に向上できることを実証した。
  論文  参考訳（メタデータ） (2025-02-05T06:30:37Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。