論文の概要: DreamCom: Finetuning Text-guided Inpainting Model for Image Composition

• arxiv url: http://arxiv.org/abs/2309.15508v2
• Date: Wed, 24 Jan 2024 11:52:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 17:16:03.149000
• Title: DreamCom: Finetuning Text-guided Inpainting Model for Image Composition
• Title（参考訳）: DreamCom: 画像合成のためのテキスト誘導塗装モデル
• Authors: Lingxiao Lu, Jiangtong Li, Bo Zhang, Li Niu
• Abstract要約: 本研究では、画像合成を、特定の対象に対してカスタマイズされた画像インペイントとして扱うことで、DreamComを提案する。 具体的には、同じオブジェクトを含むいくつかの参照画像に基づいて、事前学習したテキスト誘導画像の塗装モデルを精査する。 実際には、挿入された物体は背景の影響を受けやすいため、陰性な背景干渉を避けるためにマスキングされた注意機構を提案する。
• 参考スコア（独自算出の注目度）: 24.411003826961686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of image composition is merging a foreground object into a background image to obtain a realistic composite image. Recently, generative composition methods are built on large pretrained diffusion models, due to their unprecedented image generation ability. However, they are weak in preserving the foreground object details. Inspired by recent text-to-image generation customized for certain object, we propose DreamCom by treating image composition as text-guided image inpainting customized for certain object. Specifically , we finetune pretrained text-guided image inpainting model based on a few reference images containing the same object, during which the text prompt contains a special token associated with this object. Then, given a new background, we can insert this object into the background with the text prompt containing the special token. In practice, the inserted object may be adversely affected by the background, so we propose masked attention mechanisms to avoid negative background interference. Experimental results on DreamEditBench and our contributed MureCom dataset show the outstanding performance of our DreamCom.
• Abstract（参考訳）: 画像合成の目標は、前景オブジェクトを背景画像にマージして現実的な合成画像を得ることである。 近年,前例のない画像生成能力のため,大規模な事前学習拡散モデル上に生成合成法が構築されている。 しかし、それらは前景のオブジェクトの詳細を保存するのに弱い。 特定のオブジェクト用にカスタマイズされた最近のテキストから画像への生成に触発されて、画像合成を特定のオブジェクト用にカスタマイズされたテキストガイド画像として扱うことでドリームコムを提案する。 具体的には、テキストプロンプトにこのオブジェクトに関連付けられた特別なトークンを含む、同一のオブジェクトを含むいくつかの参照画像に基づいて、事前学習されたテキスト誘導画像インペインティングモデルを微調整する。 そして、新しいバックグラウンドが与えられたら、特別なトークンを含むテキストプロンプトで、このオブジェクトを背景に挿入できます。 実際には、挿入された物体は背景の影響を受けやすいため、陰性な背景干渉を避けるためにマスキングされた注意機構を提案する。 dreameditbenchとmrecomデータセットの実験結果は、われわれのdreamcomの優れたパフォーマンスを示している。

関連論文リスト

• GroundingBooth: Grounding Text-to-Image Customization [17.185571339157075]
  我々は、前景と背景オブジェクトの両方にゼロショットのインスタンスレベルの空間的グラウンドを実現するフレームワークであるGarthingBoothを紹介した。 提案したテキスト画像グラウンドモジュールとマスク付きクロスアテンション層は、正確なレイアウトアライメントとアイデンティティ保存の両方でパーソナライズされた画像を生成することができる。
  論文  参考訳（メタデータ） (2024-09-13T03:40:58Z)
• Improving Text-guided Object Inpainting with Semantic Pre-inpainting [95.17396565347936]
  我々は,典型的な単一ステージオブジェクトを2つのカスケードプロセス – セマンティックプリペイントと高磁場オブジェクト生成 – に分解する。 これを実現するために,トランスフォーマーをベースとしたセマンティックインパインとオブジェクトインパインティング拡散モデルをカスケードし,新しいCAscaded Transformer-Diffusionフレームワークを実現する。
  論文  参考訳（メタデータ） (2024-09-12T17:55:37Z)
• Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model [81.96954332787655]
  テキスト制御のみによるテキスト誘導オブジェクトの追加を容易にするテキスト・ツー・イメージ(T2I)モデルであるDiffreeを紹介する。 実験では、Diffreeはバックグラウンドの一貫性、空間、オブジェクトの関連性、品質を維持しながら、高い成功率を持つ新しいオブジェクトを追加します。
  論文  参考訳（メタデータ） (2024-07-24T03:58:58Z)
• Decoupled Textual Embeddings for Customized Image Generation [62.98933630971543]
  カスタマイズされたテキスト・ツー・イメージ生成は、ユーザが指定した概念を少数の画像で学習することを目的としている。 既存の方法は、通常、過剰な問題に悩まされ、学習された概念と対象と無関係な情報を絡み合わせる。 フレキシブルなテキスト・ツー・イメージ生成のための不整合概念の埋め込みを学習する新しいアプローチであるDETEXを提案する。
  論文  参考訳（メタデータ） (2023-12-19T03:32:10Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• SIEDOB: Semantic Image Editing by Disentangling Object and Background [5.149242555705579]
  本稿では,セマンティック画像編集のための新しいパラダイムを提案する。 textbfSIEDOB(サイト・英語)は、オブジェクトと背景に対していくつかの異種ワークを明示的に活用する。 我々はCityscapesとADE20K-Roomデータセットに関する広範な実験を行い、本手法がベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-23T06:17:23Z)
• SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model [27.91089554671927]
  ジェネリック・イメージ・インペイントは、周辺情報を借りて、腐敗したイメージを完成させることを目的としている。 対照的に、マルチモーダル・インパインティングは、インパインされたコンテンツに対してより柔軟で有用なコントロールを提供する。 テキストと形状誘導の両方を用いて、オブジェクトで欠落した領域を完了するための拡散モデルSmartBrushを提案する。
  論文  参考訳（メタデータ） (2022-12-09T18:36:13Z)
• Shape-guided Object Inpainting [84.18768707298105]
  本研究は,新しい画像インペイント,すなわち形状誘導物体インペイントについて研究する。 本研究では,新しいデータ作成手法と新しいコンテキストオブジェクト生成器(CogNet)を提案する。 実験により,提案手法は視覚的外観と意味的意味の両方の観点からコンテキストに適合する現実的なオブジェクトを生成することができることが示された。
  論文  参考訳（メタデータ） (2022-04-16T17:19:11Z)
• BachGAN: High-Resolution Image Synthesis from Salient Object Layout [78.51640906030244]
  本稿では、より実用的な画像生成のための新しい課題である、有能なオブジェクトレイアウトからの高品質な画像合成を提案する。 i) セグメンテーションマップ入力なしできめ細かい詳細と現実的なテクスチャを生成する方法、(ii) バックグラウンドを作成してスタンドアロンのオブジェクトにシームレスに織り込む方法である。 幻影背景表現を動的に生成することにより,高解像度画像をフォトリアリスティック・フォアグラウンドと積分背景の両方で合成することができる。
  論文  参考訳（メタデータ） (2020-03-26T00:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。