Fugu-MT 論文翻訳(概要): Flow Map Distillation Without Data

論文の概要: Flow Map Distillation Without Data

arxiv url: http://arxiv.org/abs/2511.19428v1
Date: Mon, 24 Nov 2025 18:58:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-25 18:34:25.382898
Title: Flow Map Distillation Without Data
Title（参考訳）: データのないフローマップ蒸留
Authors: Shangyuan Tong, Nanye Ma, Saining Xie, Tommi Jaakkola,
Abstract要約: 最先端のフローモデルは優れた品質を実現するが、遅い反復的なサンプリングが必要である。このデータ依存は教師データミスマッチの根本的なリスクをもたらすと我々は主張する。本稿では,教師のサンプリングパスを予測し,自己の複合的誤りを積極的に修正するフレームワークを提案する。
参考スコア（独自算出の注目度）: 32.196554686517025
License: http://creativecommons.org/licenses/by/4.0/
Abstract: State-of-the-art flow models achieve remarkable quality but require slow, iterative sampling. To accelerate this, flow maps can be distilled from pre-trained teachers, a procedure that conventionally requires sampling from an external dataset. We argue that this data-dependency introduces a fundamental risk of Teacher-Data Mismatch, as a static dataset may provide an incomplete or even misaligned representation of the teacher's full generative capabilities. This leads us to question whether this reliance on data is truly necessary for successful flow map distillation. In this work, we explore a data-free alternative that samples only from the prior distribution, a distribution the teacher is guaranteed to follow by construction, thereby circumventing the mismatch risk entirely. To demonstrate the practical viability of this philosophy, we introduce a principled framework that learns to predict the teacher's sampling path while actively correcting for its own compounding errors to ensure high fidelity. Our approach surpasses all data-based counterparts and establishes a new state-of-the-art by a significant margin. Specifically, distilling from SiT-XL/2+REPA, our method reaches an impressive FID of 1.45 on ImageNet 256x256, and 1.49 on ImageNet 512x512, both with only 1 sampling step. We hope our work establishes a more robust paradigm for accelerating generative models and motivates the broader adoption of flow map distillation without data.
Abstract（参考訳）: 最先端のフローモデルは優れた品質を実現するが、遅い反復的なサンプリングが必要である。これを促進するために、フローマップを事前訓練された教師から蒸留することができる。静的データセットは教師の完全な生成能力を不完全あるいは不整合的に表現できる可能性があるので、このデータ依存は教師データミスマッチの根本的なリスクをもたらすと我々は主張する。これにより、このデータへの依存が、フローマップ蒸留の成功に本当に必要かどうかを問うことができる。本研究では,教師が構築によって従うことが保証されている事前分布からのみサンプリングするデータフリーな代替案を探索し,ミスマッチリスクを完全に回避する。本研究では,本哲学の実用性を示すために,教師のサンプリングパスを予測し,自己の複合的誤りを積極的に修正し,高い忠実性を確保するための原則的枠組みを導入する。当社のアプローチは、すべてのデータベースのアプローチを超越し、新たな最先端を大きなマージンで確立しています。具体的には、SiT-XL/2+REPAを蒸留し、ImageNet 256x256で1.45、ImageNet 512x512で1.49のFIDに到達した。我々の研究は、生成モデルを加速するためのより堅牢なパラダイムを確立し、データ無しでのフローマップ蒸留のより広範な導入を動機付けることを願っている。

関連論文リスト

Universal Inverse Distillation for Matching Models with Real-Data Supervision (No GANs) [63.681263056053666]
提案するRealUIDは,GANを使わずに実データを蒸留プロセスにシームレスに組み込む,全てのマッチングモデルのための汎用蒸留フレームワークである。我々のRealUIDアプローチは、フローマッチングと拡散モデルに対する以前の蒸留方法をカバーする単純な理論基盤を提供し、ブリッジマッチングや補間といった修正にも拡張されている。
論文参考訳（メタデータ） (2025-09-26T15:12:02Z)
Align Your Flow: Scaling Continuous-Time Flow Map Distillation [63.927438959502226]
フローマップは、任意の2つのノイズレベルを1ステップで接続し、すべてのステップカウントで有効に保ちます。画像生成ベンチマークにおいて、Align Your Flowと呼ばれるフローマップモデルを広範囲に検証する。テキスト条件付き合成において、既存の非横断的訓練された数ステップのサンプルよりも優れたテキスト間フローマップモデルを示す。
論文参考訳（メタデータ） (2025-06-17T15:06:07Z)
OFTSR: One-Step Flow for Image Super-Resolution with Tunable Fidelity-Realism Trade-offs [24.046764908874703]
OFTSRはワンステップ画像超解像のためのフローベースフレームワークであり、可変レベルの忠実度とリアリズムで出力を生成することができる。我々は,一段階画像の超高解像度化を実現するとともに,忠実現実主義のトレードオフを柔軟に調整できることを実証した。
論文参考訳（メタデータ） (2024-12-12T17:14:58Z)
Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。まず、回帰損失と高価なデータセット構築の必要性を排除します。第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
論文参考訳（メタデータ） (2024-05-23T17:59:49Z)
From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
論文参考訳（メタデータ） (2023-08-08T19:52:28Z)
BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-06-08T20:30:55Z)
Enhancing Data-Free Adversarial Distillation with Activation Regularization and Virtual Interpolation [19.778192371420793]
データフリーの逆蒸留フレームワークは生成ネットワークを展開し、教師モデルの知識を生徒モデルに転送する。データ生成効率を向上させるために、アクティベーションレギュラライザと仮想敵対法を追加します。 CIFAR-100の最先端データフリー手法よりも精度が13.8%高い。
論文参考訳（メタデータ） (2021-02-23T11:37:40Z)
Large-Scale Generative Data-Free Distillation [17.510996270055184]
本質的な正規化層の統計を利用して生成画像モデルを訓練する新しい方法を提案する。提案手法は, CIFAR-10とCIFAR-100のデータフリー蒸留性能を95.02%, 77.02%に向上させる。 ImageNetデータセットにスケールすることができますが、私たちの知る限り、データフリー環境で生成モデルを使用することは一度もありません。
論文参考訳（メタデータ） (2020-12-10T10:54:38Z)
Data-Efficient Ranking Distillation for Image Retrieval [15.88955427198763]
近年のアプローチでは、より深く重いアーキテクチャからより小さなネットワークへ知識を伝達するために、知識蒸留を用いてこの問題に対処している。本稿では,計量学習問題に対する知識蒸留について述べる。従来の手法とは違って,提案手法では,教師モデルに対する限定的なクエリ,最終出力表現へのアクセスを伴うブラックボックス教師モデル,および第3に,基本トラストラベルのないオリジナルトレーニングデータのごく一部に対処する。
論文参考訳（メタデータ） (2020-07-10T10:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。