Fugu-MT 論文翻訳(概要): Sketch-guided Image Inpainting with Partial Discrete Diffusion Process

論文の概要: Sketch-guided Image Inpainting with Partial Discrete Diffusion Process

arxiv url: http://arxiv.org/abs/2404.11949v1
Date: Thu, 18 Apr 2024 07:07:38 GMT
ステータス: 処理完了
システム内更新日: 2024-04-19 19:31:17.731608
Title: Sketch-guided Image Inpainting with Partial Discrete Diffusion Process
Title（参考訳）: 部分離散拡散法によるスケッチガイド画像の塗布
Authors: Nakul Sharma, Aditay Tripathi, Anirban Chakraborty, Anand Mishra,
Abstract要約: スケッチ誘導インペイントのための新しい部分離散拡散法(PDDP)を提案する。 PDDPは画像のマスキング領域を破損させ、手描きスケッチで条件付けられたこれらのマスキング領域を再構築する。提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。
参考スコア（独自算出の注目度）: 5.005162730122933
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this work, we study the task of sketch-guided image inpainting. Unlike the well-explored natural language-guided image inpainting, which excels in capturing semantic details, the relatively less-studied sketch-guided inpainting offers greater user control in specifying the object's shape and pose to be inpainted. As one of the early solutions to this task, we introduce a novel partial discrete diffusion process (PDDP). The forward pass of the PDDP corrupts the masked regions of the image and the backward pass reconstructs these masked regions conditioned on hand-drawn sketches using our proposed sketch-guided bi-directional transformer. The proposed novel transformer module accepts two inputs -- the image containing the masked region to be inpainted and the query sketch to model the reverse diffusion process. This strategy effectively addresses the domain gap between sketches and natural images, thereby, enhancing the quality of inpainting results. In the absence of a large-scale dataset specific to this task, we synthesize a dataset from the MS-COCO to train and extensively evaluate our proposed framework against various competent approaches in the literature. The qualitative and quantitative results and user studies establish that the proposed method inpaints realistic objects that fit the context in terms of the visual appearance of the provided sketch. To aid further research, we have made our code publicly available at https://github.com/vl2g/Sketch-Inpainting .
Abstract（参考訳）: 本研究では,スケッチ誘導画像の塗装作業について検討する。セマンティックな詳細を捉えるのに長けている、よく探索された自然言語誘導のイメージインペインティングとは異なり、比較的研究の少ないスケッチ誘導のインペインティングは、オブジェクトの形状を指定し、インペインされるポーズをより多くユーザコントロールする。この課題に対する初期の解決策の1つとして、新しい部分的離散拡散過程(PDDP)を導入する。 PDDPの前方通過は画像のマスキング領域を破損させ、後方通過はスケッチ誘導双方向変換器を用いて手描きスケッチで条件付けられたこれらのマスキング領域を再構成する。提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。この戦略はスケッチと自然画像の領域ギャップを効果的に解決し、その結果の質を高める。このタスクに特有の大規模なデータセットがない場合には、MS-COCOからデータセットを合成して、文献における様々な有能なアプローチに対して提案したフレームワークを訓練し、広範囲に評価する。定性的かつ定量的な結果とユーザスタディにより、提案手法は、提供されたスケッチの視覚的外観の観点から、コンテキストに適合する現実的なオブジェクトを描き出す。さらなる研究を支援するため、私たちはhttps://github.com/vl2g/Sketch-Inpainting でコードを公開しました。

関連論文リスト

BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion [61.90969199199739]
BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。 BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-03-11T17:59:31Z)
Segmentation-Based Parametric Painting [22.967620358813214]
本研究では,人間のような質とスタイルのバリエーションを持つ大規模で高忠実な絵画の作成を容易にする,新しい画像から絵画へのアプローチを提案する。我々は,人間の絵画戦略に触発されたセグメンテーションに基づく絵画プロセスとダイナミックアテンションマップアプローチを導入する。最適化されたバッチ処理とパッチベースの損失フレームワークは、大きなキャンバスの効率的な処理を可能にします。
論文参考訳（メタデータ） (2023-11-24T04:15:10Z)
Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region [66.75826549444909]
ストロークベースのレンダリングは、ストロークのセットで画像を再現することを目的としている。本研究では,現在のキャンバスに基づいて絵画領域を予測する合成ニューラルネットワークを提案する。我々は、新しい微分可能な距離変換損失を伴って、ストロークベースのスタイル転送に拡張する。
論文参考訳（メタデータ） (2023-09-07T06:27:39Z)
Towards Interactive Image Inpainting via Sketch Refinement [13.34066589008464]
そこで本研究では,SketchRefinerと呼ばれる2段階画像のインペイント手法を提案する。第1段階では,クロス相関損失関数を用いて,ユーザが提供するスケッチを堅牢に校正し,洗練する。第2段階では,特徴空間の抽象的スケッチから情報的特徴を抽出し,着色過程を変調する。
論文参考訳（メタデータ） (2023-06-01T07:15:54Z)
PaintSeg: Training-free Segmentation via Painting [50.17936803209125]
PaintSegは、トレーニングなしでオブジェクトをセグメンテーションするための新しい教師なしのメソッドである。前者は前景をマスキングして背景を埋め、後者は前景の欠落部分を回復しながら背景をマスキングする。実験の結果、PaintSegは、粗いマスクプロンプト、ボックスプロンプト、ポイントプロンプトセグメンテーションタスクにおいて、既存のアプローチよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-30T20:43:42Z)
DiffFaceSketch: High-Fidelity Face Image Synthesis with Sketch-Guided Latent Diffusion Model [8.1818090854822]
我々は,Sketch-Guided Latent Diffusion Model (SGLDM)を紹介した。 SGLDMは、さまざまな抽象レベルのスケッチから、異なる表情、顔のアクセサリー、ヘアスタイルで高品質な顔画像を合成することができる。
論文参考訳（メタデータ） (2023-02-14T08:51:47Z)
SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches [95.45728042499836]
マスクレス局所画像操作という,スケッチに基づく画像操作の新しいパラダイムを提案する。本モデルでは,対象の修正領域を自動的に予測し,構造型ベクトルにエンコードする。ジェネレータは、スタイルベクトルとスケッチに基づいて、新しいイメージコンテンツを合成する。
論文参考訳（メタデータ） (2021-11-30T02:42:31Z)
Bridging the Visual Gap: Wide-Range Image Blending [16.464837892640812]
広域画像ブレンドを実現するための効果的なディープラーニングモデルを提案する。提案手法が視覚的に魅力的な結果をもたらすことを実験的に実証した。
論文参考訳（メタデータ） (2021-03-28T15:07:45Z)
Semantic Layout Manipulation with High-Resolution Sparse Attention [106.59650698907953]
本稿では,意味ラベルマップを編集して入力画像を操作するセマンティックイメージレイアウト操作の課題に対処する。このタスクの中核的な問題は、視覚的にイメージを現実的にしながら、入力画像から新しいセマンティックレイアウトに視覚的な詳細を転送する方法です。 512×512の解像度で視覚的詳細を新しいレイアウトに効果的に転送する高分解能スパースアテンションモジュールを提案する。
論文参考訳（メタデータ） (2020-12-14T06:50:43Z)
Painting Outside as Inside: Edge Guided Image Outpainting via Bidirectional Rearrangement with Progressive Step Learning [18.38266676724225]
双方向境界領域再構成を用いた画像出力方式を提案する。提案手法は, 定性的, 定量的に, 他の最先端の塗装工法と比較した。実験の結果,本手法は他の手法よりも優れ,360デグパノラマ特性を持つ新しい画像を生成することがわかった。
論文参考訳（メタデータ） (2020-10-05T06:53:55Z)
Sketch-Guided Scenery Image Outpainting [83.6612152173028]
本稿では,スケッチ誘導露光を行うエンコーダデコーダに基づくネットワークを提案する。全体的アライメントモジュールを適用して、合成された部分をグローバルビューの実際のものと類似させる。第2に, 合成した部分からスケッチを逆向きに生成し, 接地した部分との整合性を奨励する。
論文参考訳（メタデータ） (2020-06-17T11:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。