論文の概要: Boosting Generative Image Modeling via Joint Image-Feature Synthesis

• arxiv url: http://arxiv.org/abs/2504.16064v1
• Date: Tue, 22 Apr 2025 17:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 17:11:40.00308
• Title: Boosting Generative Image Modeling via Joint Image-Feature Synthesis
• Title（参考訳）: 共同画像特徴合成による生成画像モデリングの強化
• Authors: Theodoros Kouzelis, Efstathios Karypidis, Ioannis Kakogeorgiou, Spyros Gidaris, Nikos Komodakis,
• Abstract要約: 低レベル画像潜在者を共同でモデル化するために拡散モデルを活用することで、ギャップをシームレスに橋渡しする新しい生成画像モデリングフレームワークを提案する。 我々の潜在セマンティック拡散アプローチは、純雑音からコヒーレントな画像-特徴対を生成することを学ぶ。 複雑な蒸留目的の必要をなくすことで、我々の統一設計は訓練を単純化し、強力な新しい推論戦略である表現誘導を解き放つ。
• 参考スコア（独自算出の注目度）: 10.32324138962724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent diffusion models (LDMs) dominate high-quality image generation, yet integrating representation learning with generative modeling remains a challenge. We introduce a novel generative image modeling framework that seamlessly bridges this gap by leveraging a diffusion model to jointly model low-level image latents (from a variational autoencoder) and high-level semantic features (from a pretrained self-supervised encoder like DINO). Our latent-semantic diffusion approach learns to generate coherent image-feature pairs from pure noise, significantly enhancing both generative quality and training efficiency, all while requiring only minimal modifications to standard Diffusion Transformer architectures. By eliminating the need for complex distillation objectives, our unified design simplifies training and unlocks a powerful new inference strategy: Representation Guidance, which leverages learned semantics to steer and refine image generation. Evaluated in both conditional and unconditional settings, our method delivers substantial improvements in image quality and training convergence speed, establishing a new direction for representation-aware generative modeling.
• Abstract（参考訳）: 遅延拡散モデル(LDM)は高品質な画像生成を支配しているが、表現学習と生成モデルの統合は依然として課題である。 本稿では,このギャップをシームレスに橋渡しする新たな生成画像モデリングフレームワークを提案する。拡散モデルを用いて,低レベルの画像潜伏者を(変動オートエンコーダから)共同でモデル化し,高レベルのセマンティック特徴(DINOのような事前訓練された自己教師型エンコーダから)をモデル化する。 我々の潜在セマンティック拡散アプローチは、純雑音からコヒーレントな画像-特徴対を生成することを学び、生成品質とトレーニング効率を著しく向上させ、標準拡散トランスフォーマーアーキテクチャへの最小限の変更しか必要としない。 複雑な蒸留目的の必要をなくすことで、我々の統一された設計は訓練を単純化し、強力な新しい推論戦略を解き放つ:表現誘導(Representation Guidance)は、学習された意味論を利用して画像生成を操り、洗練する。 条件条件と非条件条件の両方で評価し、画像品質とトレーニング収束速度を大幅に改善し、表現認識生成モデルのための新しい方向性を確立した。

関連論文リスト

• Visual Autoregressive Modeling for Image Super-Resolution [14.935662351654601]
  次世代の予測モデルとして, ISRフレームワークの視覚的自己回帰モデルを提案する。 大規模データを収集し、ロバストな生成先行情報を得るためのトレーニングプロセスを設計する。
  論文  参考訳（メタデータ） (2025-01-31T09:53:47Z)
• Nested Diffusion Models Using Hierarchical Latent Priors [23.605302440082994]
  ネスト拡散モデル(ネスト拡散モデル)は、効率的で強力な階層的生成フレームワークである。 提案手法では,様々な意味レベルで潜伏変数を段階的に生成するために,一連の拡散モデルを用いる。 これらの潜伏変数を構築するために,事前学習した視覚エンコーダを用いて,強い意味的視覚表現を学習する。
  論文  参考訳（メタデータ） (2024-12-08T16:13:39Z)
• High-Resolution Image Synthesis via Next-Token Prediction [19.97037318862443]
  連続トークンに基づく自己回帰モデルである textbfD-JEPA$cdot$T2I を導入し、任意の解像度で高品質なフォトリアリスティック画像を最大4Kで生成する。 次世代の予測により,最先端の高精細画像合成を実現する。
  論文  参考訳（メタデータ） (2024-11-22T09:08:58Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.57727062920458]
  本稿では,非自己回帰型マスク画像モデリング(MIM)をSDXLのような最先端拡散モデルに匹敵するレベルまで高めるMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いる。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Conditional Generation from Unconditional Diffusion Models using Denoiser Representations [94.04631421741986]
  本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。 提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
  論文  参考訳（メタデータ） (2023-06-02T20:09:57Z)
• Semantic Image Synthesis with Semantically Coupled VQ-Model [42.19799555533789]
  本稿では,ベクトル量子化モデル (VQ-model) から遅延空間を条件付きで合成する。 本モデルは,ADE20k,Cityscapes,COCO-Stuffといった人気セマンティック画像データセットを用いた自己回帰モデルを用いて,セマンティック画像合成を改善することを示す。
  論文  参考訳（メタデータ） (2022-09-06T14:37:01Z)
• Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
  本稿では,条件付き画像生成のための多目的フレームワークを提案する。 CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。 提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
  論文  参考訳（メタデータ） (2022-07-21T22:19:17Z)
• Semantic Image Synthesis via Diffusion Models [174.24523061460704]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。 意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• DiVAE: Photorealistic Images Synthesis with Denoising Diffusion Decoder [73.1010640692609]
  本稿では,拡散デコーダ(DiVAE)を用いたVQ-VAEアーキテクチャモデルを提案する。 我々のモデルは最先端の成果を達成し、さらに多くのフォトリアリスティックな画像を生成する。
  論文  参考訳（メタデータ） (2022-06-01T10:39:12Z)
• High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
  本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。 提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。 単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
  論文  参考訳（メタデータ） (2020-01-13T14:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。