論文の概要: Improving Text-guided Object Inpainting with Semantic Pre-inpainting

• arxiv url: http://arxiv.org/abs/2409.08260v1
• Date: Thu, 12 Sep 2024 17:55:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 15:24:38.796184
• Title: Improving Text-guided Object Inpainting with Semantic Pre-inpainting
• Title（参考訳）: セマンティックプリインペイントによるテキスト誘導型オブジェクトインペイントの改善
• Authors: Yifu Chen, Jingwen Chen, Yingwei Pan, Yehao Li, Ting Yao, Zhineng Chen, Tao Mei,
• Abstract要約: 我々は,典型的な単一ステージオブジェクトを2つのカスケードプロセス – セマンティックプリペイントと高磁場オブジェクト生成 – に分解する。 これを実現するために,トランスフォーマーをベースとしたセマンティックインパインとオブジェクトインパインティング拡散モデルをカスケードし,新しいCAscaded Transformer-Diffusionフレームワークを実現する。
• 参考スコア（独自算出の注目度）: 95.17396565347936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed the success of large text-to-image diffusion models and their remarkable potential to generate high-quality images. The further pursuit of enhancing the editability of images has sparked significant interest in the downstream task of inpainting a novel object described by a text prompt within a designated region in the image. Nevertheless, the problem is not trivial from two aspects: 1) Solely relying on one single U-Net to align text prompt and visual object across all the denoising timesteps is insufficient to generate desired objects; 2) The controllability of object generation is not guaranteed in the intricate sampling space of diffusion model. In this paper, we propose to decompose the typical single-stage object inpainting into two cascaded processes: 1) semantic pre-inpainting that infers the semantic features of desired objects in a multi-modal feature space; 2) high-fieldity object generation in diffusion latent space that pivots on such inpainted semantic features. To achieve this, we cascade a Transformer-based semantic inpainter and an object inpainting diffusion model, leading to a novel CAscaded Transformer-Diffusion (CAT-Diffusion) framework for text-guided object inpainting. Technically, the semantic inpainter is trained to predict the semantic features of the target object conditioning on unmasked context and text prompt. The outputs of the semantic inpainter then act as the informative visual prompts to guide high-fieldity object generation through a reference adapter layer, leading to controllable object inpainting. Extensive evaluations on OpenImages-V6 and MSCOCO validate the superiority of CAT-Diffusion against the state-of-the-art methods. Code is available at \url{https://github.com/Nnn-s/CATdiffusion}.
• Abstract（参考訳）: 近年,大規模なテキスト・画像拡散モデルの成功と,高品質な画像生成の可能性が注目されている。 画像の編集性を高めるためのさらなる追求は、画像内の指定された領域内でテキストプロンプトによって記述された新しいオブジェクトを描画する下流タスクに大きな関心を喚起した。 それでも問題は2つの側面から見れば簡単ではない。 1) 1つのU-Netに頼ってテキストプロンプトと視覚オブジェクトを全段階にわたって整列させることは,所望のオブジェクトを生成するには不十分である。 2)拡散モデルの複雑なサンプリング空間において,オブジェクト生成の制御性は保証されない。 本稿では,典型的な単一ステージオブジェクトを2つのカスケードプロセスに分解することを提案する。 1) マルチモーダルな特徴空間における所望のオブジェクトのセマンティックな特徴を推測するセマンティック・プレインパインティング 2) 拡散潜時空間における高磁場オブジェクト生成は, それらが塗布された意味的特徴に基づく。 これを実現するために,トランスフォーマーをベースとしたセマンティックインパインとオブジェクトインパインティング拡散モデルをカスケードし,テキスト誘導オブジェクトインパインティングのための新しいCAAT-Diffusion(CAT-Diffusion)フレームワークを実現する。 技術的には、セマンティック・インペーターは、未成熟のコンテキストとテキストプロンプトに基づいてターゲットオブジェクトのセマンティックな特徴を予測するために訓練される。 セマンティック・インパインの出力は、参照アダプタ層を通して高視野オブジェクト生成を誘導する情報的視覚的プロンプトとして機能し、制御可能なオブジェクトインパインティングをもたらす。 OpenImages-V6とMSCOCOの大規模な評価は、最先端手法に対するCAT拡散の優位性を検証する。 コードは \url{https://github.com/Nnn-s/CATdiffusion} で入手できる。

関連論文リスト

• MagicEraser: Erasing Any Objects via Semantics-Aware Control [40.683569840182926]
  オブジェクト消去タスクに適した拡散モデルに基づくフレームワークであるMagicEraserを紹介する。 MagicEraserは、望ましくないアーティファクトを緩和しながら、コンテンツ生成の微細かつ効果的な制御を実現する。
  論文  参考訳（メタデータ） (2024-10-14T07:03:14Z)
• Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model [81.96954332787655]
  テキスト制御のみによるテキスト誘導オブジェクトの追加を容易にするテキスト・ツー・イメージ(T2I)モデルであるDiffreeを紹介する。 実験では、Diffreeはバックグラウンドの一貫性、空間、オブジェクトの関連性、品質を維持しながら、高い成功率を持つ新しいオブジェクトを追加します。
  論文  参考訳（メタデータ） (2024-07-24T03:58:58Z)
• Object-Attribute Binding in Text-to-Image Generation: Evaluation and Control [58.37323932401379]
  現在の拡散モデルは、入力としてテキストプロンプトが与えられたイメージを生成するが、テキストで言及されている属性を画像の正しいオブジェクトに正しく結び付けるのに苦労する。 入力文中の構文的制約により視覚的注意マップを制御できる集中的横断注意(FCA)を提案する。 我々は、T2I生成の大幅な改善、特にいくつかのデータセットに対する属性オブジェクトのバインディングを示す。
  論文  参考訳（メタデータ） (2024-04-21T20:26:46Z)
• RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting [63.567363455092234]
  RefFusionは,画像インペイント拡散モデルのマルチスケールパーソナライズに基づく,新しい3Dインペイント手法である。 我々のフレームワークは、制御性を維持しながら、オブジェクト除去の最先端の成果を達成する。
  論文  参考訳（メタデータ） (2024-04-16T17:50:02Z)
• Salient Object-Aware Background Generation using Text-Guided Diffusion Models [4.747826159446815]
  本稿では, 安定拡散と制御ネットアーキテクチャを用いて, 健全なオブジェクト出力処理にインペイント拡散モデルを適用するモデルを提案する。 提案手法は,複数のデータセットにまたがる標準的な視覚的メトリクスの劣化を伴わずに,オブジェクトの展開を平均3.6倍に削減する。
  論文  参考訳（メタデータ） (2024-04-15T22:13:35Z)
• SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model [27.91089554671927]
  ジェネリック・イメージ・インペイントは、周辺情報を借りて、腐敗したイメージを完成させることを目的としている。 対照的に、マルチモーダル・インパインティングは、インパインされたコンテンツに対してより柔軟で有用なコントロールを提供する。 テキストと形状誘導の両方を用いて、オブジェクトで欠落した領域を完了するための拡散モデルSmartBrushを提案する。
  論文  参考訳（メタデータ） (2022-12-09T18:36:13Z)
• Shape-guided Object Inpainting [84.18768707298105]
  本研究は,新しい画像インペイント,すなわち形状誘導物体インペイントについて研究する。 本研究では,新しいデータ作成手法と新しいコンテキストオブジェクト生成器(CogNet)を提案する。 実験により,提案手法は視覚的外観と意味的意味の両方の観点からコンテキストに適合する現実的なオブジェクトを生成することができることが示された。
  論文  参考訳（メタデータ） (2022-04-16T17:19:11Z)
• Boosting Image Outpainting with Semantic Layout Prediction [18.819765707811904]
  我々は、画像ドメインの代わりにセマンティックセグメンテーションドメイン内の領域を拡張するために、GANを訓練する。 別のGANモデルは、拡張されたセマンティックレイアウトに基づいて実際の画像を合成するように訓練されている。 我々のアプローチは意味的な手がかりをより容易に扱えるので、複雑なシナリオではよりうまく機能します。
  論文  参考訳（メタデータ） (2021-10-18T13:09:31Z)
• Context-Aware Image Inpainting with Learned Semantic Priors [100.99543516733341]
  欠落した内容を推定するために意味的に意味のある前文タスクを導入する。 本研究では,グローバルなセマンティクスと局所的な特徴を適応的に統合した文脈認識型画像インパインティングモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-14T08:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。