論文の概要: How to build a consistency model: Learning flow maps via self-distillation

• arxiv url: http://arxiv.org/abs/2505.18825v2
• Date: Sun, 05 Oct 2025 20:24:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 14:28:09.891495
• Title: How to build a consistency model: Learning flow maps via self-distillation
• Title（参考訳）: 一貫性モデルの構築方法:自己蒸留によるフローマップの学習
• Authors: Nicholas M. Boffi, Michael S. Albergo, Eric Vanden-Eijnden,
• Abstract要約: フローベース生成モデルは最先端のサンプルの品質を達成するが、推論時に微分方程式の高価な解を必要とする。 これらのモデルには、実際に効率的に学習する方法を明確に説明する統一的な記述がない。 本稿では,フローや拡散モデルに関連するフローマップを直接学習するための体系的なアルゴリズムフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.299322342860517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flow-based generative models achieve state-of-the-art sample quality, but require the expensive solution of a differential equation at inference time. Flow map models, commonly known as consistency models, encompass many recent efforts to improve inference-time efficiency by learning the solution operator of this differential equation. Yet despite their promise, these models lack a unified description that clearly explains how to learn them efficiently in practice. Here, building on the methodology proposed in Boffi et. al. (2024), we present a systematic algorithmic framework for directly learning the flow map associated with a flow or diffusion model. By exploiting a relationship between the velocity field underlying a continuous-time flow and the instantaneous rate of change of the flow map, we show how to convert any distillation scheme into a direct training algorithm via self-distillation, eliminating the need for pre-trained teachers. We introduce three algorithmic families based on different mathematical characterizations of the flow map: Eulerian, Lagrangian, and Progressive methods, which we show encompass and extend all known distillation and direct training schemes for consistency models. We find that the novel class of Lagrangian methods, which avoid both spatial derivatives and bootstrapping from small steps by design, achieve significantly more stable training and higher performance than more standard Eulerian and Progressive schemes. Our methodology unifies existing training schemes under a single common framework and reveals new design principles for accelerated generative modeling. Associated code is available at https://github.com/nmboffi/flow-maps.
• Abstract（参考訳）: フローベース生成モデルは最先端のサンプルの品質を達成するが、推論時に微分方程式の高価な解を必要とする。 整合性モデルとして知られるフローマップモデルは、この微分方程式の解演算子を学習することにより、推論時間効率を改善するための最近の多くの取り組みを含んでいる。 しかし、彼らの約束に反して、これらのモデルには、実際に効率的に学習する方法を明確に説明する統一的な記述が欠けている。 本稿では,Boffi et al (2024) で提案された手法に基づいて,フローや拡散モデルに関連するフローマップを直接学習するための体系的アルゴリズムフレームワークを提案する。 連続時間フローの下の速度場とフローマップの即時変化率の関係を利用して, 蒸留スキームを自己蒸留により直接訓練アルゴリズムに変換する方法を示し, 事前学習した教師の必要性を排除した。 フローマップの数学的特徴に基づく3つのアルゴリズムファミリ(ユーレリア語,ラグランジュ語,プログレッシブ法)を導入する。 空間微分とブートストラップの両方を設計による小さなステップから回避する新しいラグランジアン法は、より標準的なユーレアン・プログレッシブ・スキームよりもはるかに安定した訓練と高い性能を実現する。 提案手法は,1つの共通枠組みの下で既存の学習手法を統一し,生成モデルの高速化のための新しい設計原則を明らかにする。 関連コードはhttps://github.com/nmboffi/flow-maps.comで公開されている。

関連論文リスト

• Flows and Diffusions on the Neural Manifold [0.0]
  拡散およびフローベース生成モデルは、画像合成、ビデオ生成、自然言語モデリングといった領域で顕著に成功している。 これらの進歩は、最近の手法を活用して、最適化力学から導かれる構造的事前を組み込むことにより、重み空間学習に拡張する。
  論文  参考訳（メタデータ） (2025-07-14T02:26:06Z)
• Align Your Flow: Scaling Continuous-Time Flow Map Distillation [63.927438959502226]
  フローマップは、任意の2つのノイズレベルを1ステップで接続し、すべてのステップカウントで有効に保ちます。 画像生成ベンチマークにおいて、Align Your Flowと呼ばれるフローマップモデルを広範囲に検証する。 テキスト条件付き合成において、既存の非横断的訓練された数ステップのサンプルよりも優れたテキスト間フローマップモデルを示す。
  論文  参考訳（メタデータ） (2025-06-17T15:06:07Z)
• FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation [51.110607281391154]
  FlowMoは、テキスト・ビデオ・モデルにおける動きコヒーレンスを高めるためのトレーニング不要のガイダンス手法である。 時間次元のパッチワイドな分散を測定して動きのコヒーレンスを推定し、サンプリング中にこの分散を動的に減少させるためにモデルを導く。
  論文  参考訳（メタデータ） (2025-06-01T19:55:33Z)
• Elucidating Flow Matching ODE Dynamics with Respect to Data Geometries [10.947094609205765]
  拡散に基づく生成モデルが画像生成の標準となり, 学習ベクトル場によるサンプリングステップの削減により, 拡散モデルと比較して, ODEベースのサンプリングモデルとフローマッチングモデルにより効率が向上した。 我々は,ODE力学を駆動するデノイザを中心に,サンプル軌道の包括的解析を通じて,フローマッチングモデルの理論を推し進める。 解析により,グローバルなデータ特徴から局所構造への軌道の進化が明らかとなり,フローマッチングモデルにおけるサンプルごとの挙動の幾何学的特徴が得られた。
  論文  参考訳（メタデータ） (2024-12-25T01:17:15Z)
• Flow Map Matching [15.520853806024943]
  フローマップマッチングは、基礎となる常微分方程式の2時間フローマップを学習するアルゴリズムである。 フローマップマッチングは, 拡散法や補間法と比較して, サンプリングコストを大幅に削減した高品質なサンプルとなることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
  FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。 私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
  論文  参考訳（メタデータ） (2024-06-01T17:29:29Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• DistractFlow: Improving Optical Flow Estimation via Realistic Distractions and Pseudo-Labeling [49.46842536813477]
  本稿では,光フロー推定モデルのトレーニングのための新しいデータ拡張手法であるDistractFlowを提案する。 2つのフレームのうちの1つを、類似したドメインを描写したイントラクタイメージと組み合わせることで、自然の物体やシーンと相反する視覚的摂動を誘発することができる。 私たちのアプローチでは、追加のアノテーションを必要とせずに、利用可能なトレーニングペアの数を大幅に増やすことができます。
  論文  参考訳（メタデータ） (2023-03-24T15:42:54Z)
• Generative Flows with Invertible Attentions [135.23766216657745]
  生成フローモデルに対する2種類の非可逆的注意機構を導入する。 フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。 提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
  論文  参考訳（メタデータ） (2021-06-07T20:43:04Z)
• Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
  現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。 その微分可能性を利用してモデルをより効果的に活用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-16T19:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。