論文の概要: Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model

• arxiv url: http://arxiv.org/abs/2407.16982v1
• Date: Wed, 24 Jul 2024 03:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 14:53:14.751863
• Title: Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model
• Title（参考訳）: Diffree: 拡散モデルによるテキストガイド形自由物体の塗布
• Authors: Lirui Zhao, Tianshuo Yang, Wenqi Shao, Yuxin Zhang, Yu Qiao, Ping Luo, Kaipeng Zhang, Rongrong Ji,
• Abstract要約: テキスト制御のみによるテキスト誘導オブジェクトの追加を容易にするテキスト・ツー・イメージ(T2I)モデルであるDiffreeを紹介する。 実験では、Diffreeはバックグラウンドの一貫性、空間、オブジェクトの関連性、品質を維持しながら、高い成功率を持つ新しいオブジェクトを追加します。
• 参考スコア（独自算出の注目度）: 81.96954332787655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses an important problem of object addition for images with only text guidance. It is challenging because the new object must be integrated seamlessly into the image with consistent visual context, such as lighting, texture, and spatial location. While existing text-guided image inpainting methods can add objects, they either fail to preserve the background consistency or involve cumbersome human intervention in specifying bounding boxes or user-scribbled masks. To tackle this challenge, we introduce Diffree, a Text-to-Image (T2I) model that facilitates text-guided object addition with only text control. To this end, we curate OABench, an exquisite synthetic dataset by removing objects with advanced image inpainting techniques. OABench comprises 74K real-world tuples of an original image, an inpainted image with the object removed, an object mask, and object descriptions. Trained on OABench using the Stable Diffusion model with an additional mask prediction module, Diffree uniquely predicts the position of the new object and achieves object addition with guidance from only text. Extensive experiments demonstrate that Diffree excels in adding new objects with a high success rate while maintaining background consistency, spatial appropriateness, and object relevance and quality.
• Abstract（参考訳）: 本稿では,テキストガイダンスのみを用いた画像のオブジェクト追加に関する重要な問題に対処する。 なぜなら、新しいオブジェクトは、照明、テクスチャ、空間的位置など、一貫した視覚的コンテキストで画像にシームレスに統合されなければならないからである。 既存のテキスト誘導画像の塗り絵はオブジェクトを追加することができるが、背景の一貫性を保たないか、バウンディングボックスやユーザー記述マスクの指定に煩雑な人間の介入を伴う。 この課題に対処するために、テキスト制御のみによるテキスト誘導オブジェクトの追加を容易にするテキスト・ツー・イメージ(T2I)モデルであるDiffreeを導入する。 そこで我々は,高度な画像インペイント技術を用いてオブジェクトを除去することにより,精密な合成データセットであるOABenchをキュレートする。 OABenchは、オリジナル画像の現実世界のタプル74K、被写体を除去した塗装画像、オブジェクトマスク、オブジェクト記述を含む。 マスク予測モジュールを追加した安定拡散モデルを用いてOABenchでトレーニングされたDiffreeは、新しいオブジェクトの位置をユニークに予測し、テキストのみからのガイダンスでオブジェクトの追加を達成する。 大規模な実験により、Diffreeは、背景の一貫性、空間的適切性、およびオブジェクトの関連性と品質を維持しながら、高い成功率で新しいオブジェクトを追加することに長けていることが示された。

関連論文リスト

• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• Paint by Inpaint: Learning to Add Image Objects by Removing Them First [8.399234415641319]
  我々は、画像にオブジェクトを効果的に付加して、塗布過程を逆転させる拡散モデルを訓練する。 削除対象の詳細な記述と,これらの記述を多種多様な自然言語命令に変換するための大規模言語モデルを提供する。
  論文  参考訳（メタデータ） (2024-04-28T15:07:53Z)
• ObjectAdd: Adding Objects into Image via a Training-Free Diffusion Modification Fashion [68.3013463352728]
  我々は,ユーザ指定領域にユーザ予測オブジェクトを追加するトレーニング不要な拡散修正手法であるObjectAddを紹介する。 テキストをプロンプトした画像では、ユーザがボックスとオブジェクトを指定することができ、(1) ボックス領域内にオブジェクトを追加すること、(2) ボックス領域の外で正確なコンテンツを追加すること、(3) ボックス領域間の不完全な融合を実現する。
  論文  参考訳（メタデータ） (2024-04-26T08:02:07Z)
• Salient Object-Aware Background Generation using Text-Guided Diffusion Models [4.747826159446815]
  本稿では, 安定拡散と制御ネットアーキテクチャを用いて, 健全なオブジェクト出力処理にインペイント拡散モデルを適用するモデルを提案する。 提案手法は,複数のデータセットにまたがる標準的な視覚的メトリクスの劣化を伴わずに,オブジェクトの展開を平均3.6倍に削減する。
  論文  参考訳（メタデータ） (2024-04-15T22:13:35Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• DreamCom: Finetuning Text-guided Inpainting Model for Image Composition [24.411003826961686]
  本研究では、画像合成を、特定の対象に対してカスタマイズされた画像インペイントとして扱うことで、DreamComを提案する。 具体的には、同じオブジェクトを含むいくつかの参照画像に基づいて、事前学習したテキスト誘導画像の塗装モデルを精査する。 実際には、挿入された物体は背景の影響を受けやすいため、陰性な背景干渉を避けるためにマスキングされた注意機構を提案する。
  論文  参考訳（メタデータ） (2023-09-27T09:23:50Z)
• SIEDOB: Semantic Image Editing by Disentangling Object and Background [5.149242555705579]
  本稿では,セマンティック画像編集のための新しいパラダイムを提案する。 textbfSIEDOB(サイト・英語)は、オブジェクトと背景に対していくつかの異種ワークを明示的に活用する。 我々はCityscapesとADE20K-Roomデータセットに関する広範な実験を行い、本手法がベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-23T06:17:23Z)
• SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model [27.91089554671927]
  ジェネリック・イメージ・インペイントは、周辺情報を借りて、腐敗したイメージを完成させることを目的としている。 対照的に、マルチモーダル・インパインティングは、インパインされたコンテンツに対してより柔軟で有用なコントロールを提供する。 テキストと形状誘導の両方を用いて、オブジェクトで欠落した領域を完了するための拡散モデルSmartBrushを提案する。
  論文  参考訳（メタデータ） (2022-12-09T18:36:13Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)
• Shape-guided Object Inpainting [84.18768707298105]
  本研究は,新しい画像インペイント,すなわち形状誘導物体インペイントについて研究する。 本研究では,新しいデータ作成手法と新しいコンテキストオブジェクト生成器(CogNet)を提案する。 実験により,提案手法は視覚的外観と意味的意味の両方の観点からコンテキストに適合する現実的なオブジェクトを生成することができることが示された。
  論文  参考訳（メタデータ） (2022-04-16T17:19:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。