論文の概要: Controllable Image Generation via Collage Representations

• arxiv url: http://arxiv.org/abs/2304.13722v1
• Date: Wed, 26 Apr 2023 17:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 13:26:12.499344
• Title: Controllable Image Generation via Collage Representations
• Title（参考訳）: コラージュ表現による制御可能な画像生成
• Authors: Arantxa Casanova, Marl\`ene Careil, Adriana Romero-Soriano, Christopher J. Pal, Jakob Verbeek, Michal Drozdzal
• Abstract要約: ミラー・アンド・マッチングシーン(M&Ms)とは、コラージュ内の異なる要素の外観的特徴と空間的位置を条件とした、逆向きに訓練された生成画像モデルからなるアプローチである。 M&Mは、画質とサンプルの多様性の点で非常に競争力がありながら、きめ細かなシーン制御性の観点から、ベースラインよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 31.456445433105415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in conditional generative image models have enabled impressive results. On the one hand, text-based conditional models have achieved remarkable generation quality, by leveraging large-scale datasets of image-text pairs. To enable fine-grained controllability, however, text-based models require long prompts, whose details may be ignored by the model. On the other hand, layout-based conditional models have also witnessed significant advances. These models rely on bounding boxes or segmentation maps for precise spatial conditioning in combination with coarse semantic labels. The semantic labels, however, cannot be used to express detailed appearance characteristics. In this paper, we approach fine-grained scene controllability through image collages which allow a rich visual description of the desired scene as well as the appearance and location of the objects therein, without the need of class nor attribute labels. We introduce "mixing and matching scenes" (M&Ms), an approach that consists of an adversarially trained generative image model which is conditioned on appearance features and spatial positions of the different elements in a collage, and integrates these into a coherent image. We train our model on the OpenImages (OI) dataset and evaluate it on collages derived from OI and MS-COCO datasets. Our experiments on the OI dataset show that M&Ms outperforms baselines in terms of fine-grained scene controllability while being very competitive in terms of image quality and sample diversity. On the MS-COCO dataset, we highlight the generalization ability of our model by outperforming DALL-E in terms of the zero-shot FID metric, despite using two magnitudes fewer parameters and data. Collage based generative models have the potential to advance content creation in an efficient and effective way as they are intuitive to use and yield high quality generations.
• Abstract（参考訳）: 最近の条件付き生成画像モデルの進歩は印象的な結果をもたらした。 一方で、テキストベースの条件モデルでは、画像とテキストのペアの大規模なデータセットを利用することで、優れた生成品質を達成している。 しかし、きめ細かい制御を可能にするためには、テキストベースのモデルは長いプロンプトを必要とする。 一方でレイアウトベースの条件モデルも大きな進歩を遂げている。 これらのモデルは、厳密な空間条件付けと粗い意味ラベルの組み合わせのために境界ボックスやセグメンテーションマップに依存する。 しかし、セマンティックラベルは、外観特性の詳細な表現には使用できない。 本稿では,画像コラージュによるきめ細かなシーン制御にアプローチし,クラスや属性ラベルを必要とせずに,所望のシーンを視覚的に表現し,オブジェクトの外観や位置を表示できるようにする。 本稿では,コラージュにおける異なる要素の出現特徴と空間的位置を条件とした,敵対的に訓練された生成画像モデルである「混合・マッチングシーン」(m&m)を紹介し,これらをコヒーレント画像に統合する。 我々はOpenImages(OI)データセットでモデルをトレーニングし、OIデータセットとMS-COCOデータセットから派生したコラージュ上で評価する。 oiデータセットを用いた実験により、m&mは、画像品質とサンプル多様性の面で非常に競争力を持ちながら、きめ細かなシーン制御性でベースラインよりも優れています。 MS-COCOデータセットでは、2桁のパラメータとデータを使用しながら、ゼロショットFIDメートル法でDALL-Eを上回り、モデルの一般化能力を強調した。 コラージュベースの生成モデルは、高品質な世代を直感的に利用し得るため、コンテンツ生成を効率的かつ効果的に進める可能性がある。

関連論文リスト

• What Makes a Scene ? Scene Graph-based Evaluation and Feedback for Controllable Generation [29.42202665594218]
  Scene-Benchは、自然シーンの生成における現実的一貫性の評価と強化を目的とした総合的なベンチマークである。 Scene-Benchは、シーングラフに注釈を付けた100万の画像の大規模なデータセットであるMegaSGと、新しい評価指標であるSGScoreで構成されている。 本研究では,シーングラフと画像間の不一致を識別・補正することにより,生成した画像を反復的に洗練するシーングラフフィードバックパイプラインを開発する。
  論文  参考訳（メタデータ） (2024-11-23T03:40:25Z)
• Adapting Diffusion Models for Improved Prompt Compliance and Controllable Image Synthesis [43.481539150288434]
  この作品は新しい家族を紹介します。 因子グラフ拡散モデル(FG-DM) FG-DMは結合分布をモデル化する。 イメージやコンディショニング変数、例えばセマンティック、スケッチなどです。 因子グラフ分解による 奥行きや正常な地図です
  論文  参考訳（メタデータ） (2024-10-29T00:54:00Z)
• Debiasing Vison-Language Models with Text-Only Training [15.069736314663352]
  視覚バイアスを軽減するために,テキスト・アズ・イメージ・トレーニング・パラダイムを活用するTODというテキスト・オン・デバイアス・フレームワークを提案する。 そこで本研究では,テキスト・アズ・イメージ・トレーニングのパラダイムを活用し,視覚バイアスを緩和するテキスト・オン・デバイアス化フレームワークTODを提案する。
  論文  参考訳（メタデータ） (2024-10-12T04:34:46Z)
• Fashion Image-to-Image Translation for Complementary Item Retrieval [13.88174783842901]
  本稿では,ジェネレーティブ・コンパティビリティ・モデル(GeCo)を提案する。 3つのデータセットの評価によると、GeCoは最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-08-19T09:50:20Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
  大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。 画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。 ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
  論文  参考訳（メタデータ） (2023-06-23T19:24:48Z)
• ClipCrop: Conditioned Cropping Driven by Vision-Language Model [90.95403416150724]
  我々は、堅牢でユーザ意図的な収穫アルゴリズムを構築する基盤として、視覚言語モデルを活用している。 そこで本研究では,ユーザの意図を反映したテキストや画像クエリを用いて,トリミングを行う手法を開発した。 私たちのパイプライン設計では、小さなデータセットでテキスト条件の美学を学習することができます。
  論文  参考訳（メタデータ） (2022-11-21T14:27:07Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Generating Annotated High-Fidelity Images Containing Multiple Coherent Objects [10.783993190686132]
  コンテキスト情報を明示的に必要とせずに、複数のオブジェクトで画像を合成できるマルチオブジェクト生成フレームワークを提案する。 我々は,Multi-MNISTおよびCLEVRデータセットを用いた実験により,コヒーレンシーと忠実さの保存方法を示す。
  論文  参考訳（メタデータ） (2020-06-22T11:33:55Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。