論文の概要: Shape-guided Object Inpainting

• arxiv url: http://arxiv.org/abs/2204.07845v1
• Date: Sat, 16 Apr 2022 17:19:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 06:09:52.841206
• Title: Shape-guided Object Inpainting
• Title（参考訳）: 形状誘導型物体塗装
• Authors: Yu Zeng, Zhe Lin, Vishal M. Patel
• Abstract要約: 本研究は,新しい画像インペイント,すなわち形状誘導物体インペイントについて研究する。 本研究では,新しいデータ作成手法と新しいコンテキストオブジェクト生成器(CogNet)を提案する。 実験により,提案手法は視覚的外観と意味的意味の両方の観点からコンテキストに適合する現実的なオブジェクトを生成することができることが示された。
• 参考スコア（独自算出の注目度）: 84.18768707298105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous works on image inpainting mainly focus on inpainting background or partially missing objects, while the problem of inpainting an entire missing object remains unexplored. This work studies a new image inpainting task, i.e. shape-guided object inpainting. Given an incomplete input image, the goal is to fill in the hole by generating an object based on the context and implicit guidance given by the hole shape. Since previous methods for image inpainting are mainly designed for background inpainting, they are not suitable for this task. Therefore, we propose a new data preparation method and a novel Contextual Object Generator (CogNet) for the object inpainting task. On the data side, we incorporate object priors into training data by using object instances as holes. The CogNet has a two-stream architecture that combines the standard bottom-up image completion process with a top-down object generation process. A predictive class embedding module bridges the two streams by predicting the class of the missing object from the bottom-up features, from which a semantic object map is derived as the input of the top-down stream. Experiments demonstrate that the proposed method can generate realistic objects that fit the context in terms of both visual appearance and semantic meanings. Code can be found at the project page \url{https://zengxianyu.github.io/objpaint}
• Abstract（参考訳）: 画像の塗り絵は、主に背景の塗り絵や、部分的に欠落した物体の塗り絵に焦点が当てられている。 本研究は,新しい画像インペインティングタスク,すなわち形状誘導オブジェクトインペインティングについて研究する。 不完全な入力画像が与えられると、目標は穴形状によって与えられるコンテキストと暗黙のガイダンスに基づいてオブジェクトを生成して穴を埋めることである。 画像インペインティングの従来の手法は主に背景インペインティング用に設計されているため、このタスクには適さない。 そこで本研究では,オブジェクトの塗装作業のための新しいデータ作成法と新しいコンテキストオブジェクト生成法(CogNet)を提案する。 データ側では、オブジェクトインスタンスを穴として使用して、トレーニングデータにオブジェクトプライオリティを組み込む。 CogNetは、標準的なボトムアップ画像補完プロセスとトップダウンオブジェクト生成プロセスを組み合わせた2ストリームアーキテクチャを備えている。 予測クラス埋め込みモジュールは、トップダウンストリームの入力としてセマンティックオブジェクトマップが導出されるボトムアップ機能から、行方不明なオブジェクトのクラスを予測することによって、2つのストリームをブリッジする。 実験により,提案手法は視覚的外観と意味的意味の両方の観点からコンテキストに適合する現実的なオブジェクトを生成することができることが示された。 コードはプロジェクトページ \url{https://zengxianyu.github.io/objpaint} で見ることができる。

関連論文リスト

• Improving Text-guided Object Inpainting with Semantic Pre-inpainting [95.17396565347936]
  我々は,典型的な単一ステージオブジェクトを2つのカスケードプロセス – セマンティックプリペイントと高磁場オブジェクト生成 – に分解する。 これを実現するために,トランスフォーマーをベースとしたセマンティックインパインとオブジェクトインパインティング拡散モデルをカスケードし,新しいCAscaded Transformer-Diffusionフレームワークを実現する。
  論文  参考訳（メタデータ） (2024-09-12T17:55:37Z)
• In Defense of Lazy Visual Grounding for Open-Vocabulary Semantic Segmentation [50.79940712523551]
  我々は,非教師対象マスク発見の2段階的アプローチである遅延視覚接地を行い,それに続いて物体接地を行う。 私たちのモデルは、追加のトレーニングは必要ありませんが、5つの公開データセットで優れたパフォーマンスを示します。
  論文  参考訳（メタデータ） (2024-08-09T09:28:35Z)
• Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model [81.96954332787655]
  テキスト制御のみによるテキスト誘導オブジェクトの追加を容易にするテキスト・ツー・イメージ(T2I)モデルであるDiffreeを紹介する。 実験では、Diffreeはバックグラウンドの一貫性、空間、オブジェクトの関連性、品質を維持しながら、高い成功率を持つ新しいオブジェクトを追加します。
  論文  参考訳（メタデータ） (2024-07-24T03:58:58Z)
• FaithFill: Faithful Inpainting for Object Completion Using a Single Reference Image [6.742568054626032]
  FaithFillは、行方不明なオブジェクト部品を現実的に生成するための拡散ベースの塗装手法である。 本研究では,FithFillが1つの参照画像から,オブジェクトの欠落部分の忠実な生成と,背景・シーンの保存を両立させることを実証する。
  論文  参考訳（メタデータ） (2024-06-12T04:45:33Z)
• Salient Object-Aware Background Generation using Text-Guided Diffusion Models [4.747826159446815]
  本稿では, 安定拡散と制御ネットアーキテクチャを用いて, 健全なオブジェクト出力処理にインペイント拡散モデルを適用するモデルを提案する。 提案手法は,複数のデータセットにまたがる標準的な視覚的メトリクスの劣化を伴わずに,オブジェクトの展開を平均3.6倍に削減する。
  論文  参考訳（メタデータ） (2024-04-15T22:13:35Z)
• DreamCom: Finetuning Text-guided Inpainting Model for Image Composition [24.411003826961686]
  本研究では、画像合成を、特定の対象に対してカスタマイズされた画像インペイントとして扱うことで、DreamComを提案する。 具体的には、同じオブジェクトを含むいくつかの参照画像に基づいて、事前学習したテキスト誘導画像の塗装モデルを精査する。 実際には、挿入された物体は背景の影響を受けやすいため、陰性な背景干渉を避けるためにマスキングされた注意機構を提案する。
  論文  参考訳（メタデータ） (2023-09-27T09:23:50Z)
• Inst-Inpaint: Instructing to Remove Objects with Diffusion Models [18.30057229657246]
  本研究では,自然言語入力に基づいて除去対象を推定し,同時に除去する画像インペイントアルゴリズムに興味を持つ。 本稿では,テキストプロンプトとして与えられた命令に基づいて画像からオブジェクトを除去する新しいインペイントフレームワークInst-Inpaintを提案する。
  論文  参考訳（メタデータ） (2023-04-06T17:29:50Z)
• Context-Aware Image Inpainting with Learned Semantic Priors [100.99543516733341]
  欠落した内容を推定するために意味的に意味のある前文タスクを導入する。 本研究では,グローバルなセマンティクスと局所的な特徴を適応的に統合した文脈認識型画像インパインティングモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-14T08:09:43Z)
• Holistic 3D Scene Understanding from a Single Image with Implicit Representation [112.40630836979273]
  単一の画像から全体的3Dシーン理解のための新しいパイプラインを提示する。 画像に基づく局所構造化暗黙ネットワークを提案し,物体形状推定を改善する。 また,新たな暗黙的なシーングラフニューラルネットワークを用いて3dオブジェクトのポーズとシーンレイアウトを洗練する。
  論文  参考訳（メタデータ） (2021-03-11T02:52:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。