論文の概要: Distilling Drifting Transformers with Representation Autoencoders
- arxiv url: http://arxiv.org/abs/2606.15553v1
- Date: Sun, 14 Jun 2026 02:46:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.688941
- Title: Distilling Drifting Transformers with Representation Autoencoders
- Title（参考訳）: 表現オートエンコーダを用いた蒸留ドリフト変換器
- Abstract要約: 表現オートエンコーダ(RAE)は、意味的にリッチな潜在空間によって拡散とフローモデルを改善した。
本研究では,RAE潜在空間が新たに提案されたドリフトモデルによる蒸留と相容れないことを論じる。
- 参考スコア（独自算出の注目度）: 23.990618033500695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Representation Autoencoders (RAEs) have improved diffusion and flow models by semantically richer latent space owing to the strongly label-wise clustered DINO features in the pretrained encoders. Yet in the distillation stage, the severe anisotropy and large curvatures caused by the rich semantic representations would hinder the convergence and performance, making the trajectory-based distillation unstable. In this work, we argue that the RAE latent space is compatible with distillation via the newly proposed Drifting Models. We first quantitatively study the curvatures and isotropy statistics across different autoencoders, and theoretically reveal that Drifting Model itself is highly likely to fail on extremely scattered spaces like reconstruction-based VAEs. These motivate us to apply the drifting paradigm directly to representation autoencoders. Our proposed method, Drift-RAE, distills pretrained flow models in RAE latent spaces using Drifting, together with insightful modifications that improve training stability by thereotically aligning drifting fields with other frameworks. Regarding the experimental evidences, we achieve 1.77 FID on ImageNet 256 dataset using only 10k distillation steps, surpassing state-of-the-art RAE distillation methods and appearing comparative with the original Drifting Model without requiring an auxiliary MAE feature extractor. The code will be made publicly available.
- Abstract（参考訳）: 表現オートエンコーダ (RAE) は、事前訓練されたエンコーダのDINO機能によって、意味的によりリッチな潜在空間によって拡散とフローモデルを改善した。
しかし, 蒸留段階では, 豊かな意味表現による重度の異方性と大きな曲率が収束と性能を阻害し, 軌跡に基づく蒸留が不安定となる。
本研究では,RAE潜在空間が新たに提案されたドリフトモデルによる蒸留と相容れないことを論じる。
まず、異なる自己エンコーダ間の曲率と等方性統計を定量的に研究し、ドリフトモデル自体が再構成ベースのVAEのような非常に散らばった空間で失敗する可能性が高いことを理論的に明らかにする。
これらのことは、ドリフトパラダイムを表現オートエンコーダに直接適用する動機となっている。
提案手法であるDrift-RAEは,流れ場と他のフレームワークを相互に整合させることで,学習安定性を向上させるための洞察に富んだ改良とともに,RAE潜在空間における事前学習フローモデルを蒸留する。
実験的な証拠として,ImageNet 256データセットの1.77 FIDを10kの蒸留工程のみで達成し,最先端のRAE蒸留法を超越し,補助的MAE特徴抽出器を必要とせずオリジナルのドリフトモデルと比較した。
コードは公開されます。
関連論文リスト
- Second Order Drifting Models [9.446439690148713]
ドリフトモデルは、事前定義されたサンプルベースドリフトフィールドを使用してトレーニング中にモデル分布を進化させる。
本研究では, 生成試料を人工的な速度変数で拡張することにより, ドリフトダイナミクスを位相空間に引き上げる2次ドリフトモデルを提案する。
実用的半単純学習アルゴリズムを導出し、合成分布マッチング、逐次データ生成、ロボット制御に基づいて評価する。
論文 参考訳（メタデータ） (2026-08-08T05:02:55Z) - Curvature-Adaptive Consistency Flow Matching: Autonomous Trajectory Optimization via Reinforcement Learning [8.422673935994451]
連続蒸留は拡散モデルの推論を 著しく加速させました
本稿では,静的サンプリングの限界に対処するため,曲率適応整合フローマッチングを提案する。
提案手法は,FLUXやSDXLといった大規模モデルに対して,最新の結果を実現する。
論文 参考訳（メタデータ） (2026-06-21T08:49:50Z) - Score Distillation of Flow Matching Models [67.86066177182046]
我々は、Score Identity Distillation (SiD) を事前訓練されたテキスト対画像フローマッチングモデルに拡張する。
SiDは、データフリーとデータアシストの両方の設定で、これらのモデルですぐに使える。
これは、スコア蒸留がテキストと画像のフローマッチングモデルに広く適用されるという最初の体系的な証拠を提供する。
論文 参考訳（メタデータ） (2025-09-29T17:45:48Z) - Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。
提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。
SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
論文 参考訳（メタデータ） (2025-07-24T16:45:05Z) - Taming Diffusion for Dataset Distillation with High Representativeness [49.3818035378669]
D3HRは、高い代表性を持つ蒸留データセットを生成する新しい拡散ベースのフレームワークである。
我々の実験は、D3HRが異なるモデルアーキテクチャにわたって高い精度を達成できることを実証した。
論文 参考訳（メタデータ） (2025-05-23T22:05:59Z) - Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。
RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。
自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
論文 参考訳（メタデータ） (2025-05-19T17:21:03Z) - One-Step Offline Distillation of Diffusion-based Models via Koopman Modeling [26.913398550088477]
クープマン蒸留モデル(Koopman Distillation Model, KDM)は, クープマン理論に基づく新しいオフライン蒸留手法である。
KDMは、学習された線形作用素がそれらを前方に伝播する埋め込み空間にノイズのある入力を符号化し、続いてクリーンなサンプルを再構成するデコーダを符号化する。
KDMは標準のオフライン蒸留ベンチマークで高い競争力を発揮する。
論文 参考訳（メタデータ） (2025-05-19T16:59:47Z) - Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。
DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
論文 参考訳（メタデータ） (2025-03-10T17:44:46Z) - Distilling Diffusion Models into Conditional GANs [90.76040478677609]
複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。
E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。
我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
論文 参考訳（メタデータ） (2024-05-09T17:59:40Z) - Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。
本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。
本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-12-05T18:59:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。