論文の概要: Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment
- arxiv url: http://arxiv.org/abs/2606.29287v1
- Date: Sun, 28 Jun 2026 09:19:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.870646
- Title: Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment
- Title（参考訳）: Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment
- Abstract要約: 拡散および連続フロー生成モデルは高品質な生成を実現する。
リフローに基づく蒸留は、教師のODE軌道を単純化し、生徒モデルが教師の移動を少ないステップで近似できるようにする。
本稿では,各蒸留間隔の終点において,学生が引き起こした限界値とそれに対応する教師の限界値との差分をペナライズする境界アライメント正規化器を提案する。
- 参考スコア（独自算出の注目度）: 7.13416637929041
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion and continuous-flow generative models achieve high-quality generation, and their deterministic sampling can be formulated as solving learned ODE dynamics. However, accurate ODE discretization often requires many steps, making efficient few-step generation a key challenge. Among acceleration strategies, reflow-based distillation simplifies teacher ODE trajectories so that a student model can approximate the teacher transport with fewer steps. We identify a theoretical limitation of this paradigm, namely that trajectory matching can under-determine the distribution induced by the student model. In particular, two student models can attain the same trajectory-matching loss while inducing different endpoint marginal distributions, which may lead to different generation quality. To address this limitation, we introduce a marginal-alignment regularizer that penalizes the discrepancy between the student-induced marginal and the corresponding teacher marginal at the endpoint of each distillation interval. The regularizer is computed by tracking log-density changes along the ODE induced by the student model and evaluating scores from the frozen teacher model, without requiring auxiliary trainable networks or adversarial optimization. The resulting framework applies uniformly to the reflow family, including vanilla reflow and piecewise reflow. We further prove a telescoping total-variation bound showing that local marginal alignment controls the final-time discrepancy between the student-induced and teacher-induced distributions. Experiments on benchmark backbones demonstrate the effectiveness of the proposed method for few-step generation.
- Abstract（参考訳）: 拡散および連続フロー生成モデルは高品質な生成を実現し、それらの決定論的サンプリングは学習されたODEダイナミクスの解法として定式化することができる。
しかし、正確なODEの離散化には多くのステップが必要であり、効率的な数ステップ生成が重要な課題である。
アクセラレーション戦略の中で、リフローに基づく蒸留は教師のODE軌道を単純化し、生徒モデルが教師の移動を少ないステップで近似できるようにする。
このパラダイムの理論的制限、すなわち、軌道マッチングが学生モデルによって引き起こされる分布を過小評価できるということを特定する。
特に、2つの学生モデルでは、異なる終端辺分布を誘導しながら同じ軌道整合損失を達成でき、それによって生成品質が異なる可能性がある。
この制限に対処するため,各蒸留間隔の終点において,学生が引き起こした限界値とそれに対応する教師の限界値との差分をペナルティ化する限界値調整器を導入する。
正規化器は、学生モデルによって誘導されるODEに沿ってログ密度の変化を追跡し、補助的なトレーニング可能なネットワークや敵の最適化を必要とせず、凍結した教師モデルからスコアを評価する。
結果として得られるフレームワークは、バニラのリフローや断片的なリフローを含む、リフローファミリに一様に適用される。
さらに,教師が引き起こす分布と教師が引き起こす分布の時間差を局所的境界アライメントが制御していることを示すテレスコープ全変量境界を証明した。
ベンチマークバックボーンの実験により,提案手法の有効性が示された。
関連論文リスト
- Distillation of Foundation Models for Time-dependent PDEs [21.455872116756492]
本研究では,事前学習した基礎モデルの予測能力を,コンパクトで効率的な学生に伝達する知識蒸留フレームワークを提案する。
微調整された教師から始めて、TREXは教師のロールアウトを通じて長い合成軌跡を生成することによって、下流の限られたデータを増やす。
結果として得られた学生は、数桁のパラメータ数を減らしながら、教師の精度を一致または超えることができる。
論文 参考訳（メタデータ） (2026-08-12T11:24:08Z) - LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる
既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。
本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
論文 参考訳（メタデータ） (2026-08-06T04:47:57Z) - Global Convergence of Gradient Descent for Score Matching in Gaussian Mixtures via Reverse Fisher Divergence [67.12978375116599]
そこで本研究では,学生分布に対する期待値の逆のフィッシャー発散(Fisher divergence)について検討する。
我々は、目標平均に対して$widetilde(1)$-separationの仮定の下で、大域収束保証を証明した。
我々はリアプノフに基づく勾配勾配勾配の動的解析を頼りにしており、逆のフィッシャー発散は前方のフィッシャー発散よりもはるかに良い最適化環境を持つことが示されている。
論文 参考訳（メタデータ） (2026-06-18T07:34:33Z) - One-Step Distillation of Discrete Diffusion Image Generators via Fixed-Point Iteration [20.457786704615454]
Fixed-Point Distillation (FPD) は、学生の1段階のドラフトを部分的に破損させ、1段階の教師ステップで修正することで、局所的な修正ターゲットを構築するエンドツーエンドのフレームワークである。
FPDは、単一の推論ステップにおいて、競争力のある視覚的忠実度と構造的整合性を達成し、マルチステップの教師とのギャップを狭める。
論文 参考訳（メタデータ） (2026-05-20T17:59:10Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Don't Ignore the Tail: Decoupling top-K Probabilities for Efficient Language Model Distillation [50.19746127327559]
教師モデルのトップK予測確率と低確率予測確率の寄与を分離する新しいテールアウェア分岐を提案する。
実験により, 改良蒸留法は, デコーダモデルの事前学習と教師付き蒸留の両方において, 競争性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-02-24T11:54:06Z) - FlowSteer: Guiding Few-Step Image Synthesis with Authentic Trajectories [82.90132015584359]
ReFlowはフローマッチングと理論的に整合性があるが、現実的なシナリオでは最適ではない。
本研究では,ReFlowをベースとした蒸留手法であるFlowSteerを提案する。
論文 参考訳（メタデータ） (2025-11-24T07:13:23Z) - Knowledge Distillation of Uncertainty using Deep Latent Factor Model [10.148306002388196]
ガウス蒸留と呼ばれる新しい流通蒸留法を導入する。
これは、Dep Latent Factor Model (DLF)と呼ばれる特殊なガウス過程による教師のアンサンブルの分布を推定する。
複数のベンチマークデータセットを用いて,提案したガウス蒸留が既存のベースラインより優れていることを示す。
論文 参考訳（メタデータ） (2025-10-22T06:46:59Z) - Toward Theoretical Insights into Diffusion Trajectory Distillation via Operator Merging [10.315743300140966]
拡散軌道蒸留は、高品質な出力を生成するがサンプリング速度の遅い拡散モデルのサンプリングを加速することを目的としている。
信号の忠実度を最大に保存する最適なマージ戦略を計算するためのプログラミングアルゴリズムを提案する。
本研究は, 拡散軌道蒸留の理論的理解を高め, 蒸留戦略改善のための実践的洞察を提供するものである。
論文 参考訳（メタデータ） (2025-05-21T21:13:02Z) - Elucidating the Preconditioning in Consistency Distillation [25.213664260896103]
整合性ギャップに応じて事前条件を解析的に最適化する「textitAnalytic-Precond」を提案する。
そこで我々は,Analytic-Precondがトラジェクトリ・ジャンパーの学習を容易にし,生徒のトラジェクトリと教師のトラジェクトリのアライメントを高め,一貫性トラジェクトリモデルのトレーニングアクセラレーションを2倍から3倍に向上できることを実証した。
論文 参考訳（メタデータ） (2025-02-05T06:30:37Z) - Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
LLM蒸留における多粒性セマンティックリビジョン法を提案する。
シーケンスレベルでは、シーケンス修正と再生戦略を提案する。
トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。
スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
論文 参考訳（メタデータ） (2024-07-14T03:51:49Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。