論文の概要: Distilling Two-Timed Flow Models by Separately Matching Initial and Terminal Velocities

• arxiv url: http://arxiv.org/abs/2505.01169v1
• Date: Fri, 02 May 2025 10:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.992943
• Title: Distilling Two-Timed Flow Models by Separately Matching Initial and Terminal Velocities
• Title（参考訳）: 初期速度と終端速度の分離マッチングによる2時間流れモデルの蒸留
• Authors: Pramook Khungurn, Pratch Piyawongwisal, Sira Sriswadi, Supasorn Suwajanakorn,
• Abstract要約: TTFM蒸留における新しい損失関数として,Emphinitial/terminal velocity matching (ITVM) lossを提案する。 予備実験により、これらの損失は、複数のタイプのデータセットにおいて、より少ないステップ生成性能をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 8.338327580222957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A flow matching model learns a time-dependent vector field $v_t(x)$ that generates a probability path $\{ p_t \}_{0 \leq t \leq 1}$ that interpolates between a well-known noise distribution ($p_0$) and the data distribution ($p_1$). It can be distilled into a \emph{two-timed flow model} (TTFM) $\phi_{s,x}(t)$ that can transform a sample belonging to the distribution at an initial time $s$ to another belonging to the distribution at a terminal time $t$ in one function evaluation. We present a new loss function for TTFM distillation called the \emph{initial/terminal velocity matching} (ITVM) loss that extends the Lagrangian Flow Map Distillation (LFMD) loss proposed by Boffi et al. by adding redundant terms to match the initial velocities at time $s$, removing the derivative from the terminal velocity term at time $t$, and using a version of the model under training, stabilized by exponential moving averaging (EMA), to compute the target terminal average velocity. Preliminary experiments show that our loss leads to better few-step generation performance on multiple types of datasets and model architectures over baselines.
• Abstract（参考訳）: フローマッチングモデルは、確率パス$\{ p_t \}_{0 \leq t \leq 1}$を生成する時間依存ベクトル場$v_t(x)$を学習し、よく知られた雑音分布(p_0$)とデータ分布(p_1$)を補間する。 TTFM) $\phi_{s,x}(t)$は、分布に属するサンプルを初期時間$s$で変換し、ある関数評価において、その分布に属するサンプルを終値$t$で変換することができる。 本稿では,Boffiらによって提案されたラグランジアンフローマップ蒸留(LFMD)損失を拡張したTTFM蒸留における新たな損失関数を提案する。 予備的な実験により、ベースラインよりも複数のタイプのデータセットとモデルアーキテクチャにおいて、我々の損失が、より少ないステップ生成性能をもたらすことが示されている。

関連論文リスト

• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  本稿では,分散シフトの課題に対処する新しいアプローチであるIdempotent Test-Time Training (IT$3$)を紹介する。 IT$3$は、イデオロジェンスの普遍性に基づいている。 画像分類の劣化など,様々なタスクにまたがるアプローチの汎用性を実証する。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• Theoretical guarantees in KL for Diffusion Flow Matching [9.618473763561418]
  Flow Matching (FM) は、ターゲット分布 $nustar$ を補助分布 $mu$ で有限時間にブリッジすることを目的としている。 ブラウン運動に付随する条件分布を橋渡しする拡散フローマッチング(DFM)モデルの非漸近保証を得る。
  論文  参考訳（メタデータ） (2024-09-12T15:19:00Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic Localization [40.808942894229325]
  データ次元において線形である第1収束境界を提供する。 拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
  論文  参考訳（メタデータ） (2023-08-07T16:01:14Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Computing high-dimensional optimal transport by flow neural networks [19.859984725284896]
  本研究は,フローモデルを最適化することにより,任意の2つの分布に対して$P$と$Q$の動的OTを計算することを提案する。 本手法は輸送コストを最小限に抑える非可逆流を見つけることによって動的OTを学習する。 提案モデルが高次元データに与える影響は,OTベースライン,画像から画像への変換,高次元DRE上での強い経験的性能によって実証される。
  論文  参考訳（メタデータ） (2023-05-19T17:48:21Z)
• Restarted Bayesian Online Change-point Detection for Non-Stationary Markov Decision Processes [12.229154524476405]
  我々は、Restarted Bayesian Online Change-Point Detectionアルゴリズム(R-BOCPD)の変種を導入する。 多項分布から標本化された状態遷移カーネルを用いたMPP用UCRL2アルゴリズムの改良版を提案する。 我々は,R-BOCPD-UCRL2が$Oleft(D O sqrtA T K_T logleft (fracTdelta right) + fracK_Tdeltaminlimits_ell の好意的な後悔境界を享受していることを示す。
  論文  参考訳（メタデータ） (2023-04-01T05:26:41Z)
• Asynchronous Stochastic Optimization Robust to Arbitrary Delays [54.61797739710608]
  遅延勾配の最適化を考えると、ステップt$毎に、アルゴリズムは古い計算を使って更新する - d_t$ for arbitrary delay $d_t gradient。 本実験は,遅延分布が歪んだり重くなったりした場合のアルゴリズムの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2021-06-22T15:50:45Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。