論文の概要: Shape-guided Object Inpainting
- arxiv url: http://arxiv.org/abs/2204.07845v1
- Date: Sat, 16 Apr 2022 17:19:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-20 06:09:52.841206
- Title: Shape-guided Object Inpainting
- Title(参考訳): 形状誘導型物体塗装
- Authors: Yu Zeng, Zhe Lin, Vishal M. Patel
- Abstract要約: 本研究は,新しい画像インペイント,すなわち形状誘導物体インペイントについて研究する。
本研究では,新しいデータ作成手法と新しいコンテキストオブジェクト生成器(CogNet)を提案する。
実験により,提案手法は視覚的外観と意味的意味の両方の観点からコンテキストに適合する現実的なオブジェクトを生成することができることが示された。
- 参考スコア(独自算出の注目度): 84.18768707298105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous works on image inpainting mainly focus on inpainting background or
partially missing objects, while the problem of inpainting an entire missing
object remains unexplored. This work studies a new image inpainting task, i.e.
shape-guided object inpainting. Given an incomplete input image, the goal is to
fill in the hole by generating an object based on the context and implicit
guidance given by the hole shape. Since previous methods for image inpainting
are mainly designed for background inpainting, they are not suitable for this
task. Therefore, we propose a new data preparation method and a novel
Contextual Object Generator (CogNet) for the object inpainting task. On the
data side, we incorporate object priors into training data by using object
instances as holes. The CogNet has a two-stream architecture that combines the
standard bottom-up image completion process with a top-down object generation
process. A predictive class embedding module bridges the two streams by
predicting the class of the missing object from the bottom-up features, from
which a semantic object map is derived as the input of the top-down stream.
Experiments demonstrate that the proposed method can generate realistic objects
that fit the context in terms of both visual appearance and semantic meanings.
Code can be found at the project page
\url{https://zengxianyu.github.io/objpaint}
- Abstract(参考訳): 画像の塗り絵は、主に背景の塗り絵や、部分的に欠落した物体の塗り絵に焦点が当てられている。
本研究は,新しい画像インペインティングタスク,すなわち形状誘導オブジェクトインペインティングについて研究する。
不完全な入力画像が与えられると、目標は穴形状によって与えられるコンテキストと暗黙のガイダンスに基づいてオブジェクトを生成して穴を埋めることである。
画像インペインティングの従来の手法は主に背景インペインティング用に設計されているため、このタスクには適さない。
そこで本研究では,オブジェクトの塗装作業のための新しいデータ作成法と新しいコンテキストオブジェクト生成法(CogNet)を提案する。
データ側では、オブジェクトインスタンスを穴として使用して、トレーニングデータにオブジェクトプライオリティを組み込む。
CogNetは、標準的なボトムアップ画像補完プロセスとトップダウンオブジェクト生成プロセスを組み合わせた2ストリームアーキテクチャを備えている。
予測クラス埋め込みモジュールは、トップダウンストリームの入力としてセマンティックオブジェクトマップが導出されるボトムアップ機能から、行方不明なオブジェクトのクラスを予測することによって、2つのストリームをブリッジする。
実験により,提案手法は視覚的外観と意味的意味の両方の観点からコンテキストに適合する現実的なオブジェクトを生成することができることが示された。
コードはプロジェクトページ \url{https://zengxianyu.github.io/objpaint} で見ることができる。
関連論文リスト
- DreamCom: Finetuning Text-guided Inpainting Model for Image Composition [24.411003826961686]
本研究では、画像合成を、特定の対象に対してカスタマイズされた画像インペイントとして扱うことで、DreamComを提案する。
具体的には、同じオブジェクトを含むいくつかの参照画像に基づいて、事前学習したテキスト誘導画像の塗装モデルを精査する。
実際には、挿入された物体は背景の影響を受けやすいため、陰性な背景干渉を避けるためにマスキングされた注意機構を提案する。
論文 参考訳(メタデータ) (2023-09-27T09:23:50Z) - Inst-Inpaint: Instructing to Remove Objects with Diffusion Models [18.30057229657246]
本研究では,自然言語入力に基づいて除去対象を推定し,同時に除去する画像インペイントアルゴリズムに興味を持つ。
本稿では,テキストプロンプトとして与えられた命令に基づいて画像からオブジェクトを除去する新しいインペイントフレームワークInst-Inpaintを提案する。
論文 参考訳(メタデータ) (2023-04-06T17:29:50Z) - SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model [27.91089554671927]
ジェネリック・イメージ・インペイントは、周辺情報を借りて、腐敗したイメージを完成させることを目的としている。
対照的に、マルチモーダル・インパインティングは、インパインされたコンテンツに対してより柔軟で有用なコントロールを提供する。
テキストと形状誘導の両方を用いて、オブジェクトで欠落した領域を完了するための拡散モデルSmartBrushを提案する。
論文 参考訳(メタデータ) (2022-12-09T18:36:13Z) - Automatic dataset generation for specific object detection [6.346581421948067]
本研究では,オブジェクトの詳細な特徴を,無関係な情報を得ることなく保存することができるオブジェクト・イン・シーン・イメージの合成手法を提案する。
その結果,合成画像では,物体の境界が背景とよく一致していることがわかった。
論文 参考訳(メタデータ) (2022-07-16T07:44:33Z) - Context-Aware Image Inpainting with Learned Semantic Priors [100.99543516733341]
欠落した内容を推定するために意味的に意味のある前文タスクを導入する。
本研究では,グローバルなセマンティクスと局所的な特徴を適応的に統合した文脈認識型画像インパインティングモデルを提案する。
論文 参考訳(メタデータ) (2021-06-14T08:09:43Z) - Holistic 3D Scene Understanding from a Single Image with Implicit
Representation [112.40630836979273]
単一の画像から全体的3Dシーン理解のための新しいパイプラインを提示する。
画像に基づく局所構造化暗黙ネットワークを提案し,物体形状推定を改善する。
また,新たな暗黙的なシーングラフニューラルネットワークを用いて3dオブジェクトのポーズとシーンレイアウトを洗練する。
論文 参考訳(メタデータ) (2021-03-11T02:52:46Z) - ShaRF: Shape-conditioned Radiance Fields from a Single View [54.39347002226309]
本稿では,単一の画像のみのオブジェクトの神経シーン表現を推定する手法を提案する。
この手法の核心は,対象物の幾何学的足場の推定である。
合成画像と実画像の両方において,提案手法の有効性を示す実験を行った。
論文 参考訳(メタデータ) (2021-02-17T16:40:28Z) - Semantic-Guided Inpainting Network for Complex Urban Scenes Manipulation [19.657440527538547]
本研究では,ユーザが指定した画像の一部を取り除き,複雑な都市景観を再現する新しいディープラーニングモデルを提案する。
画像のインペイントに関する最近の研究に触発されて,提案手法はセマンティックセグメンテーションを利用して画像の内容と構造をモデル化する。
信頼性の高い結果を生成するために,セマンティックセグメンテーションと生成タスクを組み合わせた新しいデコーダブロックを設計する。
論文 参考訳(メタデータ) (2020-10-19T09:17:17Z) - BachGAN: High-Resolution Image Synthesis from Salient Object Layout [78.51640906030244]
本稿では、より実用的な画像生成のための新しい課題である、有能なオブジェクトレイアウトからの高品質な画像合成を提案する。
i) セグメンテーションマップ入力なしできめ細かい詳細と現実的なテクスチャを生成する方法、(ii) バックグラウンドを作成してスタンドアロンのオブジェクトにシームレスに織り込む方法である。
幻影背景表現を動的に生成することにより,高解像度画像をフォトリアリスティック・フォアグラウンドと積分背景の両方で合成することができる。
論文 参考訳(メタデータ) (2020-03-26T00:54:44Z) - Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
アウトペイントには2つの課題があるため、あまり注意を払わない。
第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。
第2の課題は、生成した結果の高品質を維持する方法です。
論文 参考訳(メタデータ) (2019-12-29T16:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。