論文の概要: LDM-is-AE: Latent Diffusion Model is an Auto-Encoder for End-to-End Image Generation

• arxiv url: http://arxiv.org/abs/2609.37080v1
• Date: Tue, 29 Sep 2026 09:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.354637
• Title: LDM-is-AE: Latent Diffusion Model is an Auto-Encoder for End-to-End Image Generation
• Title（参考訳）: LDM-is-AE:潜時拡散モデル -エンド・ツー・エンド画像生成のためのオートエンコーダ-
• Abstract要約: 遅延拡散モデル (LDM) は通常、2段階のパイプラインを採用する: オートエンコーダ (AE) は、遅延空間を定義するために事前訓練された後、拡散モデルを訓練して、その内部で分極を行う。 LDM-is-AEは、個別に訓練されたトークン化装置を必要としないエンドツーエンドの1段階のLCMトレーニングフレームワークである。
• 参考スコア（独自算出の注目度）: 24.01824865784314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent Diffusion Models (LDMs) typically adopt a two-stage pipeline: an auto-encoder (AE) is first pre-trained to define a latent space, then a diffusion model is trained to perform denoising within it. Such a two-stage design introduces a representation mismatch, as the latent space is optimized for reconstruction rather than adapting the denoising dynamics. We reveal that the LDM itself is an AE, and consequently present LDM-is-AE, an end-to-end one-stage LDM training framework that eliminates the need for a separately trained tokenizer. Our key observation is that the LDM backbone actually performs a latent-to-feature-to-latent transformation at each denoising step, which can be interpreted as an internal decoding--encoding process. Leveraging this structure, we split the DiT backbone into two reciprocal components, DiT-E (i.e., DiT Encoding) and DiT-D (i.e., DiT Decoding), and impose image-space supervision on the intermediate features across all timesteps. Our model encourages the internal representation to align with the image domain throughout denoising, thereby establishing an explicit latent-to-image-to-latent path. At the zero-noise timestep, our model further performs an image-to-latent-to-image mapping, corresponding to an auto-encoding process. As a result, LDM-is-AE jointly learns latent representations and denoising dynamics in an end-to-end manner, yielding a diffusion-native latent space tailored to the generation process. Experiments demonstrate that LDM-is-AE exhibits highly competitive generation performance, achieving an FID of 1.80 and 1.90 on 256x256 and 512x512 class-conditional image generation, respectively.
• Abstract（参考訳）: 遅延拡散モデル (LDM) は通常、2段階のパイプラインを採用する: オートエンコーダ (AE) は、遅延空間を定義するために事前訓練された後、拡散モデルを訓練して、その内部で分極を行う。 このような2段階の設計は表現ミスマッチを導入し、遅延空間はデノジング力学に適応するのではなく、再構成のために最適化される。 我々は, LDM自体がAEであり, LDM-is-AEは, 個別に訓練されたトークン化装置の必要性を排除し, エンド・ツー・エンドのLDMトレーニングフレームワークであることを明らかにした。 我々のキーとなる観察は、LCMバックボーンが各デノナイジングステップで潜時から潜時までの変換を実行し、内部デコード-エンコードプロセスと解釈できることである。 この構造を利用して、DiTバックボーンをDiT-E(DiTエンコーディング)とDiT-D(DiTデコーディング)の2つの相反成分に分割し、すべてのタイムステップで中間機能に対して画像空間を監督する。 提案モデルでは,画像領域のデノゲーションを通じて,内部表現と画像領域との整合性が促進され,遅延から画像への明確な経路が確立される。 ゼロノイズの時間ステップでは、自動符号化プロセスに対応する画像から画像へのマッピングも行う。 その結果, LDM-is-AEは潜在表現と退化ダイナミクスをエンドツーエンドに学習し, 生成過程に合わせて拡散ネイティブな潜在空間を生成する。 LDM-is-AEは、256x256のFIDと512x512のクラス条件画像生成でそれぞれ1.80と1.90のFIDを達成し、非常に競争力のある生成性能を示すことを示した。

関連論文リスト

• End-to-End Training for Unified Tokenization and Latent Denoising [82.91537591286554]
  統一トークン化と潜伏拡散のためのオートエンコーダアーキテクチャUNITEを提案する。 UNITEは、画像トークン化器と重量共有による潜伏ジェネレータの両方として機能するジェネレータで構成されている。 トークン化とスクラッチ生成の単一段階共同訓練が実現可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-23T17:59:49Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
  DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。 DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。 第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。 第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:11:52Z)
• Conditional Image-to-Video Generation with Latent Flow Diffusion Models [18.13991670747915]
  条件付き画像合成(cI2V)は、画像と条件から始まる新しい可視映像を合成することを目的としている。 我々は,新しい潜流拡散モデル(LFDM)を用いたcI2Vのアプローチを提案する。 LFDMは、所定の条件に基づいて潜時空間内の光フローシーケンスを合成し、所定の画像をワープする。
  論文  参考訳（メタデータ） (2023-03-24T01:54:26Z)
• SinDDM: A Single Image Denoising Diffusion Model [28.51951207066209]
  単一画像上でのデノナイズ拡散モデルをトレーニングするためのフレームワークを提案する。 SinDDMを作成した本手法では,マルチスケール拡散プロセスを用いてトレーニング画像の内部統計を学習する。 これは、スタイル転送や調和など、幅広いタスクに適用できる。
  論文  参考訳（メタデータ） (2022-11-29T20:44:25Z)
• EDICT: Exact Diffusion Inversion via Coupled Transformations [13.996171129586731]
  拡散過程(反転と呼ばれる)に入力画像を生成する初期ノイズベクトルを見つけることは重要な問題である。 本稿では,アフィン結合層からインスピレーションを得るための逆変換法であるEDICT(Exact Diffusion Inversion)を提案する。 EDICTは、2つの結合ノイズベクトルを維持することにより、実画像とモデル生成画像の数学的に正確な逆変換を可能にする。
  論文  参考訳（メタデータ） (2022-11-22T18:02:49Z)
• Representation Learning with Diffusion Models [0.0]
  拡散モデル (DM) は画像合成タスクや密度推定において最先端の結果を得た。 拡散モデル(LRDM)を用いてそのような表現を学習するためのフレームワークを提案する。 特に、DMと表現エンコーダは、生成的認知過程に特有の豊かな表現を学習するために、共同で訓練される。
  論文  参考訳（メタデータ） (2022-10-20T07:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。