論文の概要: Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion

• arxiv url: http://arxiv.org/abs/2410.14758v2
• Date: Tue, 01 Apr 2025 13:38:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-02 14:11:52.440786
• Title: Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion
• Title（参考訳）: 潜時整合拡散によるベクトル量子化画像モデリングの改善
• Authors: Bac Nguyen, Chieh-Hsin Lai, Yuhta Takida, Naoki Murata, Toshimitsu Uesaka, Stefano Ermon, Yuki Mitsufuji,
• Abstract要約: VQ-LCMDは、学習を安定させる埋め込み空間内の連続空間潜在拡散フレームワークである。 VQ-LCMDは、関節埋め込み拡散変動下界と整合整合性(CM)損失を組み合わせた新しいトレーニング目標を使用する。 実験により,提案したVQ-LCMDは離散状態潜伏拡散モデルと比較して,FFHQ,LSUN教会,LSUNベッドルームにおいて優れた結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 55.185588994883226
• License:
• Abstract: By embedding discrete representations into a continuous latent space, we can leverage continuous-space latent diffusion models to handle generative modeling of discrete data. However, despite their initial success, most latent diffusion methods rely on fixed pretrained embeddings, limiting the benefits of joint training with the diffusion model. While jointly learning the embedding (via reconstruction loss) and the latent diffusion model (via score matching loss) could enhance performance, end-to-end training risks embedding collapse, degrading generation quality. To mitigate this issue, we introduce VQ-LCMD, a continuous-space latent diffusion framework within the embedding space that stabilizes training. VQ-LCMD uses a novel training objective combining the joint embedding-diffusion variational lower bound with a consistency-matching (CM) loss, alongside a shifted cosine noise schedule and random dropping strategy. Experiments on several benchmarks show that the proposed VQ-LCMD yields superior results on FFHQ, LSUN Churches, and LSUN Bedrooms compared to discrete-state latent diffusion models. In particular, VQ-LCMD achieves an FID of 6.81 for class-conditional image generation on ImageNet with 50 steps.
• Abstract（参考訳）: 離散表現を連続潜在空間に埋め込むことで、離散データの生成的モデリングを扱うために連続空間潜在拡散モデルを利用することができる。 しかしながら、初期の成功にもかかわらず、最も潜伏拡散法は、固定された事前訓練された埋め込みに依存し、拡散モデルとの合同トレーニングの利点を制限している。 埋め込み(再構築損失)と潜伏拡散モデル(スコアマッチング損失)を共同学習することで、性能が向上する一方で、エンドツーエンドのトレーニングは崩壊を埋め込み、生成品質を劣化させるリスクを負う。 この問題を軽減するため,本研究では,トレーニングを安定化する埋め込み空間内の連続空間潜在拡散フレームワークであるVQ-LCMDを紹介する。 VQ-LCMDは、結合埋め込み拡散変動下界と整合整合性(CM)損失を組み合わせ、シフトしたコサインノイズスケジュールとランダムドロップ戦略を組み合わせた、新しいトレーニング目標を使用する。 いくつかのベンチマーク実験により、提案されたVQ-LCMDは、離散状態潜伏拡散モデルと比較してFFHQ、LSUN教会、LSUNベッドルームにおいて優れた結果が得られることが示された。 特に、VQ-LCMDは、50ステップのImageNet上でのクラス条件画像生成のためのFIDが6.81である。

関連論文リスト

• Improved Training Technique for Latent Consistency Models [18.617862678160243]
  一貫性モデルは、単一のステップまたは複数のステップで高品質なサンプルを生成することができる。 画素空間と潜伏空間の統計的差異を解析し、潜伏データがしばしば非常にインパルス的な外れ値を含むことを発見した。 我々は,早期に拡散損失を導入し,さらに性能を高めるために最適な輸送(OT)結合を用いる。
  論文  参考訳（メタデータ） (2025-02-03T15:25:58Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Struggle with Adversarial Defense? Try Diffusion [8.274506117450628]
  アドリア攻撃は微妙な摂動を導入して誤分類を引き起こす。 拡散に基づく敵の訓練は、しばしば収束の課題と高い計算費用に遭遇する。 本稿では,これらの問題を克服するために,真性最大化拡散(TMDC)を提案する。
  論文  参考訳（メタデータ） (2024-04-12T06:52:40Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• GSURE-Based Diffusion Model Training with Corrupted Data [35.56267114494076]
  本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。 顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:27:20Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。