論文の概要: Improving Diffusion-Based Image Synthesis with Context Prediction

• arxiv url: http://arxiv.org/abs/2401.02015v1
• Date: Thu, 4 Jan 2024 01:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 16:08:12.275981
• Title: Improving Diffusion-Based Image Synthesis with Context Prediction
• Title（参考訳）: 文脈予測による拡散に基づく画像合成の改善
• Authors: Ling Yang, Jingwei Liu, Shenda Hong, Zhilong Zhang, Zhilin Huang, Zheming Cai, Wentao Zhang, Bin Cui
• Abstract要約: 既存の拡散モデルは、主に、劣化した画像から空間軸に沿って画素幅または特徴幅の制約で入力画像を再構成しようとする。 文脈予測を用いて拡散に基づく画像合成を改善するためのConPreDiffを提案する。 我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で、MS-COCO上で新たなSOTAテキスト・画像生成結果を達成する。
• 参考スコア（独自算出の注目度）: 49.186366441954846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models are a new class of generative models, and have dramatically promoted image generation with unprecedented quality and diversity. Existing diffusion models mainly try to reconstruct input image from a corrupted one with a pixel-wise or feature-wise constraint along spatial axes. However, such point-based reconstruction may fail to make each predicted pixel/feature fully preserve its neighborhood context, impairing diffusion-based image synthesis. As a powerful source of automatic supervisory signal, context has been well studied for learning representations. Inspired by this, we for the first time propose ConPreDiff to improve diffusion-based image synthesis with context prediction. We explicitly reinforce each point to predict its neighborhood context (i.e., multi-stride features/tokens/pixels) with a context decoder at the end of diffusion denoising blocks in training stage, and remove the decoder for inference. In this way, each point can better reconstruct itself by preserving its semantic connections with neighborhood context. This new paradigm of ConPreDiff can generalize to arbitrary discrete and continuous diffusion backbones without introducing extra parameters in sampling procedure. Extensive experiments are conducted on unconditional image generation, text-to-image generation and image inpainting tasks. Our ConPreDiff consistently outperforms previous methods and achieves a new SOTA text-to-image generation results on MS-COCO, with a zero-shot FID score of 6.21.
• Abstract（参考訳）: 拡散モデルは新しい生成モデルのクラスであり、前例のない品質と多様性を持つ画像生成を劇的に促進した。 既存の拡散モデルは、主に空間軸に沿って画素方向または特徴方向の制約を持つ破損した画像から入力画像を再構成しようとする。 しかし、これらの点に基づく再構成は、各予測された画素/特徴が近傍のコンテキストを完全に保存することができず、拡散に基づく画像合成を阻害する可能性がある。 自動監視信号の強力な源として、文脈は学習表現によく研究されてきた。 そこで我々は,コンテキスト予測による拡散に基づく画像合成を改善するためのconprediffを提案する。 学習段階における拡散分節ブロックの終了時にコンテキストデコーダを用いて,近傍コンテキスト(すなわちマルチストライド特徴/トケント/ピクセル)を予測するために,各点を明示的に補強し,推論用デコーダを削除する。 このようにして、各ポイントは、近隣のコンテキストとのセマンティックな接続を保ちながら、自己を再構築することができる。 ConPreDiffの新しいパラダイムは、サンプリング手順に余分なパラメータを導入することなく、任意の離散的かつ連続的な拡散バックボーンに一般化することができる。 非条件画像生成,テキスト対画像生成,画像インペインティングタスクに関する広範な実験を行った。 我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で新しいSOTAテキスト・画像生成結果を得る。

関連論文リスト

• DiffHarmony: Latent Diffusion Model Meets Image Harmonization [11.500358677234939]
  拡散モデルは画像から画像への翻訳タスクの迅速な開発を促進する。 スクラッチからの微調整事前学習潜伏拡散モデルは計算集約的である。 本稿では,事前学習した潜伏拡散モデルを画像調和タスクに適用し,調和性はあるが曖昧な初期画像を生成する。
  論文  参考訳（メタデータ） (2024-04-09T09:05:23Z)
• DiffuseMix: Label-Preserving Data Augmentation with Diffusion Models [18.44432223381586]
  近年、ディープニューラルネットワークの一般化を改善するために、画像混合に基づく拡張技術が数多く導入されている。 これらの手法では、2つ以上のランダムに選択された自然画像が混合され、拡張画像を生成する。 DiffuseMixを提案する。DiffuseMixは、拡散モデルを利用してトレーニング画像を再構成する新しいデータ拡張手法である。
  論文  参考訳（メタデータ） (2024-04-05T05:31:02Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)
• ADIR: Adaptive Diffusion for Image Reconstruction [46.838084286784195]
  本研究では,拡散モデルによる事前学習を利用した条件付きサンプリング手法を提案する。 次に、事前学習した拡散分極ネットワークを入力に適応させる新しいアプローチと組み合わせる。 画像再構成手法の適応拡散は,超高解像度,デブロアリング,テキストベースの編集タスクにおいて,大幅な改善が達成されていることを示す。
  論文  参考訳（メタデータ） (2022-12-06T18:39:58Z)
• Semantic-Conditional Diffusion Networks for Image Captioning [116.86677915812508]
  画像キャプションに適した拡散モデルに基づく新しいパラダイム,すなわちセマンティック・コンディション・ディフュージョン・ネットワーク(SCD-Net)を提案する。 SCD-Netでは、複数の拡散変換器構造を積み重ねて、より優れた視覚言語アライメントと言語的コヒーレンスで出力文を徐々に強化する。 COCOデータセットの実験は、困難な画像キャプションタスクにおいて拡散モデルを使用することの有望な可能性を示している。
  論文  参考訳（メタデータ） (2022-12-06T16:08:16Z)
• Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
  本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。 VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。 提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
  論文  参考訳（メタデータ） (2022-09-14T21:53:27Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• ImageBART: Bidirectional Context with Multinomial Diffusion for Autoregressive Image Synthesis [15.006676130258372]
  自己回帰モデルは、以前に合成された画像パッチを上または左にのみ参加することで、コンテキストを線形1次元順序で組み込む。 自己回帰的定式化と多項拡散過程を組み合わせたコンテキストの粗大な階層構造を提案する。 当社のアプローチは、ローカルな画像編集を行うために、制限のない、ユーザが提供するマスクを考慮に入れることができる。
  論文  参考訳（メタデータ） (2021-08-19T17:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。