論文の概要: Universal Inverse Distillation for Matching Models with Real-Data Supervision (No GANs)

• arxiv url: http://arxiv.org/abs/2509.22459v1
• Date: Fri, 26 Sep 2025 15:12:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.53361
• Title: Universal Inverse Distillation for Matching Models with Real-Data Supervision (No GANs)
• Title（参考訳）: 実データスーパービジョンを用いたマッチングモデルに対するユニバーサル逆蒸留(GANは含まない)
• Authors: Nikita Kornilov, David Li, Tikhon Mavrin, Aleksei Leonov, Nikita Gushchin, Evgeny Burnaev, Iaroslav Koshelev, Alexander Korotin,
• Abstract要約: 提案するRealUIDは,GANを使わずに実データを蒸留プロセスにシームレスに組み込む,全てのマッチングモデルのための汎用蒸留フレームワークである。 我々のRealUIDアプローチは、フローマッチングと拡散モデルに対する以前の蒸留方法をカバーする単純な理論基盤を提供し、ブリッジマッチングや補間といった修正にも拡張されている。
• 参考スコア（独自算出の注目度）: 63.681263056053666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While achieving exceptional generative quality, modern diffusion, flow, and other matching models suffer from slow inference, as they require many steps of iterative generation. Recent distillation methods address this by training efficient one-step generators under the guidance of a pre-trained teacher model. However, these methods are often constrained to only one specific framework, e.g., only to diffusion or only to flow models. Furthermore, these methods are naturally data-free, and to benefit from the usage of real data, it is required to use an additional complex adversarial training with an extra discriminator model. In this paper, we present RealUID, a universal distillation framework for all matching models that seamlessly incorporates real data into the distillation procedure without GANs. Our RealUID approach offers a simple theoretical foundation that covers previous distillation methods for Flow Matching and Diffusion models, and is also extended to their modifications, such as Bridge Matching and Stochastic Interpolants.
• Abstract（参考訳）: 例外的な生成品質を達成する一方で、現代の拡散、流れ、その他のマッチングモデルは、反復生成の多くのステップを必要とするため、推論が遅い。 近年の蒸留法では, 教師モデルの指導のもと, 効率的なワンステップ生成装置を訓練することでこの問題に対処している。 しかし、これらの手法はしばしば1つの特定のフレームワーク、例えば拡散にのみ、あるいはフローモデルにのみ制約される。 さらに、これらの手法は自然にデータフリーであり、実データの利用の恩恵を受けるためには、余分な判別器モデルによる追加の複雑な対数トレーニングを使用する必要がある。 本稿では,GANを使わずに実データを蒸留処理にシームレスに組み込む,すべてのマッチングモデルのための汎用蒸留フレームワークであるRealUIDを提案する。 我々のRealUIDアプローチは、フローマッチングと拡散モデルの以前の蒸留方法をカバーする単純な理論基盤を提供し、ブリッジマッチングや確率補間など、それらの修正にも拡張されている。

関連論文リスト

• Score-based Idempotent Distillation of Diffusion Models [0.9367224590861915]
  一等性生成ネットワーク(IGN)は、対象多様体への等等性写像に基づく新しい生成モデルである。 本研究では拡散モデルスコアから等等化モデルを蒸留することにより拡散とIGNを結合し、SIGNと呼ぶ。 提案手法は非常に安定しており, 対向的損失を伴わないため, 提案手法の理論的解析を行い, IGNを予め学習した拡散モデルから効果的に蒸留できることを実証的に示す。
  論文  参考訳（メタデータ） (2025-09-25T19:36:10Z)
• Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
  「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 損失関数により、混合モデルは、次元相関を学習することで、そのような多くのステップの従来のモデルをほんの数ステップに蒸留することができる。 その結果、画像領域と言語領域をまたいだ事前学習した離散拡散モデルの蒸留における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-11T10:53:03Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。