論文の概要: Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment

• arxiv url: http://arxiv.org/abs/2606.29287v1
• Date: Sun, 28 Jun 2026 09:19:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.870646
• Title: Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment
• Title（参考訳）: Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment
• Authors: Chen Wang, Peiran Yun, Pan Xie, Ke Deng,
• Abstract要約: 拡散および連続フロー生成モデルは高品質な生成を実現する。 リフローに基づく蒸留は、教師のODE軌道を単純化し、生徒モデルが教師の移動を少ないステップで近似できるようにする。 本稿では,各蒸留間隔の終点において,学生が引き起こした限界値とそれに対応する教師の限界値との差分をペナライズする境界アライメント正規化器を提案する。
• 参考スコア（独自算出の注目度）: 7.13416637929041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion and continuous-flow generative models achieve high-quality generation, and their deterministic sampling can be formulated as solving learned ODE dynamics. However, accurate ODE discretization often requires many steps, making efficient few-step generation a key challenge. Among acceleration strategies, reflow-based distillation simplifies teacher ODE trajectories so that a student model can approximate the teacher transport with fewer steps. We identify a theoretical limitation of this paradigm, namely that trajectory matching can under-determine the distribution induced by the student model. In particular, two student models can attain the same trajectory-matching loss while inducing different endpoint marginal distributions, which may lead to different generation quality. To address this limitation, we introduce a marginal-alignment regularizer that penalizes the discrepancy between the student-induced marginal and the corresponding teacher marginal at the endpoint of each distillation interval. The regularizer is computed by tracking log-density changes along the ODE induced by the student model and evaluating scores from the frozen teacher model, without requiring auxiliary trainable networks or adversarial optimization. The resulting framework applies uniformly to the reflow family, including vanilla reflow and piecewise reflow. We further prove a telescoping total-variation bound showing that local marginal alignment controls the final-time discrepancy between the student-induced and teacher-induced distributions. Experiments on benchmark backbones demonstrate the effectiveness of the proposed method for few-step generation.
• Abstract（参考訳）: 拡散および連続フロー生成モデルは高品質な生成を実現し、それらの決定論的サンプリングは学習されたODEダイナミクスの解法として定式化することができる。 しかし、正確なODEの離散化には多くのステップが必要であり、効率的な数ステップ生成が重要な課題である。 アクセラレーション戦略の中で、リフローに基づく蒸留は教師のODE軌道を単純化し、生徒モデルが教師の移動を少ないステップで近似できるようにする。 このパラダイムの理論的制限、すなわち、軌道マッチングが学生モデルによって引き起こされる分布を過小評価できるということを特定する。 特に、2つの学生モデルでは、異なる終端辺分布を誘導しながら同じ軌道整合損失を達成でき、それによって生成品質が異なる可能性がある。 この制限に対処するため,各蒸留間隔の終点において,学生が引き起こした限界値とそれに対応する教師の限界値との差分をペナルティ化する限界値調整器を導入する。 正規化器は、学生モデルによって誘導されるODEに沿ってログ密度の変化を追跡し、補助的なトレーニング可能なネットワークや敵の最適化を必要とせず、凍結した教師モデルからスコアを評価する。 結果として得られるフレームワークは、バニラのリフローや断片的なリフローを含む、リフローファミリに一様に適用される。 さらに,教師が引き起こす分布と教師が引き起こす分布の時間差を局所的境界アライメントが制御していることを示すテレスコープ全変量境界を証明した。 ベンチマークバックボーンの実験により,提案手法の有効性が示された。

関連論文リスト

• Global Convergence of Gradient Descent for Score Matching in Gaussian Mixtures via Reverse Fisher Divergence [67.12978375116599]
  そこで本研究では,学生分布に対する期待値の逆のフィッシャー発散(Fisher divergence)について検討する。 我々は、目標平均に対して$widetilde(1)$-separationの仮定の下で、大域収束保証を証明した。 我々はリアプノフに基づく勾配勾配勾配の動的解析を頼りにしており、逆のフィッシャー発散は前方のフィッシャー発散よりもはるかに良い最適化環境を持つことが示されている。
  論文  参考訳（メタデータ） (2026-06-18T07:34:33Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Don't Ignore the Tail: Decoupling top-K Probabilities for Efficient Language Model Distillation [50.19746127327559]
  教師モデルのトップK予測確率と低確率予測確率の寄与を分離する新しいテールアウェア分岐を提案する。 実験により, 改良蒸留法は, デコーダモデルの事前学習と教師付き蒸留の両方において, 競争性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-02-24T11:54:06Z)
• FlowSteer: Guiding Few-Step Image Synthesis with Authentic Trajectories [82.90132015584359]
  ReFlowはフローマッチングと理論的に整合性があるが、現実的なシナリオでは最適ではない。 本研究では,ReFlowをベースとした蒸留手法であるFlowSteerを提案する。
  論文  参考訳（メタデータ） (2025-11-24T07:13:23Z)
• Knowledge Distillation of Uncertainty using Deep Latent Factor Model [10.148306002388196]
  ガウス蒸留と呼ばれる新しい流通蒸留法を導入する。 これは、Dep Latent Factor Model (DLF)と呼ばれる特殊なガウス過程による教師のアンサンブルの分布を推定する。 複数のベンチマークデータセットを用いて,提案したガウス蒸留が既存のベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-22T06:46:59Z)
• Elucidating the Preconditioning in Consistency Distillation [25.213664260896103]
  整合性ギャップに応じて事前条件を解析的に最適化する「textitAnalytic-Precond」を提案する。 そこで我々は,Analytic-Precondがトラジェクトリ・ジャンパーの学習を容易にし,生徒のトラジェクトリと教師のトラジェクトリのアライメントを高め,一貫性トラジェクトリモデルのトレーニングアクセラレーションを2倍から3倍に向上できることを実証した。
  論文  参考訳（メタデータ） (2025-02-05T06:30:37Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。