論文の概要: DDAE++: Enhancing Diffusion Models Towards Unified Generative and Discriminative Learning

• arxiv url: http://arxiv.org/abs/2505.10999v1
• Date: Fri, 16 May 2025 08:47:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.373134
• Title: DDAE++: Enhancing Diffusion Models Towards Unified Generative and Discriminative Learning
• Title（参考訳）: DDAE++: 統一された生成型と識別型学習に向けた拡散モデルの強化
• Authors: Weilai Xiang, Hongyu Yang, Di Huang, Yunhong Wang,
• Abstract要約: 生成前訓練は差別的な表現をもたらし、統一された視覚生成と理解への道を開くことが示されている。 この研究は自己条件付けを導入し、ネットワークに固有のリッチなセマンティクスを内部的に活用し、独自のデコード層をガイドする。 提案手法は、FIDの生成と認識の精度を1%の計算オーバーヘッドで向上させ、多様な拡散アーキテクチャで一般化する。
• 参考スコア（独自算出の注目度）: 53.27049077100897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While diffusion models have gained prominence in image synthesis, their generative pre-training has been shown to yield discriminative representations, paving the way towards unified visual generation and understanding. However, two key questions remain: 1) Can these representations be leveraged to improve the training of diffusion models themselves, rather than solely benefiting downstream tasks? 2) Can the feature quality be enhanced to rival or even surpass modern self-supervised learners, without compromising generative capability? This work addresses these questions by introducing self-conditioning, a straightforward yet effective mechanism that internally leverages the rich semantics inherent in denoising network to guide its own decoding layers, forming a tighter bottleneck that condenses high-level semantics to improve generation. Results are compelling: our method boosts both generation FID and recognition accuracy with 1% computational overhead and generalizes across diverse diffusion architectures. Crucially, self-conditioning facilitates an effective integration of discriminative techniques, such as contrastive self-distillation, directly into diffusion models without sacrificing generation quality. Extensive experiments on pixel-space and latent-space datasets show that in linear evaluations, our enhanced diffusion models, particularly UViT and DiT, serve as strong representation learners, surpassing various self-supervised models.
• Abstract（参考訳）: 拡散モデルは画像合成において顕著なものとなっているが、その生成前訓練によって識別的表現が得られ、統一された視覚生成と理解への道が開かれた。 しかし、2つの重要な疑問が残る。 1)これらの表現は、下流のタスクにのみ恩恵を受けるのではなく、拡散モデルの訓練を改善するために活用できるのだろうか? 2) 自己指導型学習者に対して, 生産能力を損なうことなく, 機能品質を向上できるか, あるいは, あるいは, 近代的な自己指導型学習者を上回るか? ネットワークに固有のリッチなセマンティクスを内部的に活用して独自のデコードレイヤをガイドし、ハイレベルなセマンティクスを凝縮して生成を改善するという、より厳密なボトルネックを形成する。 提案手法は、FIDの生成と認識の精度を1%の計算オーバーヘッドで向上させ、多様な拡散アーキテクチャで一般化する。 重要なことに、自己条件付けは、生成品質を犠牲にすることなく直接拡散モデルに、対照的な自己蒸留のような識別技術の効果的な統合を促進する。 線形評価では,拡張拡散モデル,特に UViT と DiT が強力な表現学習者として機能し,様々な自己教師型モデルを上回っている。

関連論文リスト

• Automated Learning of Semantic Embedding Representations for Diffusion Models [1.688134675717698]
  拡散モデルの表現能力を拡大するために,マルチレベル・デノナイジング・オートエンコーダ・フレームワークを用いる。 我々の研究は、DDMが生成タスクに適合するだけでなく、汎用的なディープラーニングアプリケーションにも有利である可能性を正当化している。
  論文  参考訳（メタデータ） (2025-05-09T02:10:46Z)
• Diff-2-in-1: Bridging Generation and Dense Perception with Diffusion Models [39.127620891450526]
  マルチモーダルデータ生成と濃密な視覚知覚の両方を扱うために,統一的で汎用的な拡散型フレームワークDiff-2-in-1を導入する。 また,従来のトレーニングセットの分布を反映したマルチモーダルデータを作成するために,デノナイジングネットワークを利用することにより,マルチモーダル生成による識別的視覚知覚をさらに強化する。
  論文  参考訳（メタデータ） (2024-11-07T18:59:53Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• DiffusionSeg: Adapting Diffusion Towards Unsupervised Object Discovery [20.787180028571694]
  DiffusionSegは、2段階戦略を含む合成探索フレームワークである。 我々は,豊富な画像を合成し,第1段階でマスクを得るための新しいトレーニングフリーアテンションカットを提案する。 第2のエクスプロイト段階では、構造的ギャップを埋めるために、インバージョン技術を用いて、与えられた画像を拡散特徴にマッピングする。
  論文  参考訳（メタデータ） (2023-03-17T07:47:55Z)
• Denoising Diffusion Autoencoders are Unified Self-supervised Learners [58.194184241363175]
  本稿では,拡散モデルにおけるネットワーク,すなわち拡散オートエンコーダ(DDAE)が,自己教師型学習者の統合であることを示す。 DDAEはすでに、補助エンコーダを使わずに、中間層内で線形分離可能な表現を強く学習している。 CIFAR-10 と Tiny-ImageNet の線形評価精度は95.9% と 50.0% である。
  論文  参考訳（メタデータ） (2023-03-17T04:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。