論文の概要: Unlocking Pre-trained Image Backbones for Semantic Image Synthesis

• arxiv url: http://arxiv.org/abs/2312.13314v2
• Date: Mon, 8 Jan 2024 13:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 21:45:03.839425
• Title: Unlocking Pre-trained Image Backbones for Semantic Image Synthesis
• Title（参考訳）: セマンティック画像合成のための訓練済み画像バックボーンのアンロック
• Authors: Tariq Berrada, Jakob Verbeek, Camille Couprie, Karteek Alahari
• Abstract要約: 本稿では,現実的な画像を生成するセマンティック画像合成のための新しい種類のGAN識別器を提案する。 DP-SIMSをダブした本モデルでは,ADE-20K,COCO-Stuff,Cityscapesの入力ラベルマップと画像品質と一貫性の両面から,最新の結果が得られる。
• 参考スコア（独自算出の注目度）: 29.688029979801577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic image synthesis, i.e., generating images from user-provided semantic label maps, is an important conditional image generation task as it allows to control both the content as well as the spatial layout of generated images. Although diffusion models have pushed the state of the art in generative image modeling, the iterative nature of their inference process makes them computationally demanding. Other approaches such as GANs are more efficient as they only need a single feed-forward pass for generation, but the image quality tends to suffer on large and diverse datasets. In this work, we propose a new class of GAN discriminators for semantic image synthesis that generates highly realistic images by exploiting feature backbone networks pre-trained for tasks such as image classification. We also introduce a new generator architecture with better context modeling and using cross-attention to inject noise into latent variables, leading to more diverse generated images. Our model, which we dub DP-SIMS, achieves state-of-the-art results in terms of image quality and consistency with the input label maps on ADE-20K, COCO-Stuff, and Cityscapes, surpassing recent diffusion models while requiring two orders of magnitude less compute for inference.
• Abstract（参考訳）: セマンティック画像合成、すなわちユーザが提供するセマンティックラベルマップから画像を生成することは、生成された画像のコンテンツと空間的レイアウトの両方を制御できる重要な条件付き画像生成タスクである。 拡散モデルは生成的画像モデリングにおいて技術の状態を推し進めてきたが、それらの推論プロセスの反復的性質はそれらを計算的に要求する。 ganのような他のアプローチは、生成に単一のフィードフォワードパスしか必要としないため効率が良いが、画像品質は大規模で多様なデータセットに苦しむ傾向がある。 本研究では,画像分類などのタスクのために事前学習された特徴バックボーンネットワークを活用し,高度に現実的な画像を生成する意味画像合成のためのgan判別器を提案する。 また,新たなジェネレータアーキテクチャを導入して,コンテキストモデリングを改良し,潜在変数にノイズを注入するクロスアテンションを用いることにより,より多様な画像を生成する。 DP-SIMSをダブした我々のモデルは、ADE-20K、COCO-Stuff、Cityscapesの入力ラベルマップの画質と一貫性の点から、最新の拡散モデルを超え、推論に2桁も少ない計算を必要とする。

関連論文リスト

• IIDM: Image-to-Image Diffusion Model for Semantic Image Synthesis [8.080248399002663]
  本稿では,セマンティック画像合成を画像認識タスクとして扱う。 スタイル参照はまずランダムノイズで汚染され、その後IIDMによって徐々に認知される。 改良,色変換,モデルアンサンブルの3つの手法が提案され,生成品質がさらに向上した。
  論文  参考訳（メタデータ） (2024-03-20T08:21:00Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• Diversify, Don't Fine-Tune: Scaling Up Visual Recognition Training with Synthetic Images [37.29348016920314]
  そこで本研究では,既製の生成モデルを利用して合成訓練画像を生成する新しいフレームワークを提案する。 クラス名の曖昧さ、ナイーブなプロンプトの多様性の欠如、ドメインシフトに対処する。 我々のフレームワークは、より合成データによる認識モデルの性能を一貫して向上させる。
  論文  参考訳（メタデータ） (2023-12-04T18:35:27Z)
• Wavelet-based Unsupervised Label-to-Image Translation [9.339522647331334]
  本稿では、自己教師付きセグメンテーション損失と全画像ウェーブレットに基づく識別を併用した、SIS(USIS)のための新しいアン教師付きパラダイムを提案する。 3つの挑戦的なデータセットで方法論を検証し、ペアモデルとアンペアモデルのパフォーマンスギャップを橋渡しする能力を実証する。
  論文  参考訳（メタデータ） (2023-05-16T17:48:44Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
  本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。 シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。 我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
  論文  参考訳（メタデータ） (2021-12-09T18:59:21Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• You Only Need Adversarial Supervision for Semantic Image Synthesis [84.83711654797342]
  我々は,高品質な結果を得るためには敵対的監督のみを必要とする,新しい簡易ganモデルを提案する。 本モデルによって合成された画像はより多様であり,実画像の色やテクスチャに密接に従っている。
  論文  参考訳（メタデータ） (2020-12-08T23:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。