論文の概要: Towards Interactive Image Inpainting via Sketch Refinement

• arxiv url: http://arxiv.org/abs/2306.00407v3
• Date: Mon, 19 Jun 2023 08:43:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 01:33:29.194631
• Title: Towards Interactive Image Inpainting via Sketch Refinement
• Title（参考訳）: スケッチリファインメントによるインタラクティブな画像インペインティング
• Authors: Chang Liu, Shunxin Xu, Jialun Peng, Kaidong Zhang and Dong Liu
• Abstract要約: そこで本研究では,SketchRefinerと呼ばれる2段階画像のインペイント手法を提案する。 第1段階では,クロス相関損失関数を用いて,ユーザが提供するスケッチを堅牢に校正し,洗練する。 第2段階では,特徴空間の抽象的スケッチから情報的特徴を抽出し,着色過程を変調する。
• 参考スコア（独自算出の注目度）: 13.34066589008464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One tough problem of image inpainting is to restore complex structures in the corrupted regions. It motivates interactive image inpainting which leverages additional hints, e.g., sketches, to assist the inpainting process. Sketch is simple and intuitive to end users, but meanwhile has free forms with much randomness. Such randomness may confuse the inpainting models, and incur severe artifacts in completed images. To address this problem, we propose a two-stage image inpainting method termed SketchRefiner. In the first stage, we propose using a cross-correlation loss function to robustly calibrate and refine the user-provided sketches in a coarse-to-fine fashion. In the second stage, we learn to extract informative features from the abstracted sketches in the feature space and modulate the inpainting process. We also propose an algorithm to simulate real sketches automatically and build a test protocol with different applications. Experimental results on public datasets demonstrate that SketchRefiner effectively utilizes sketch information and eliminates the artifacts due to the free-form sketches. Our method consistently outperforms the state-of-the-art ones both qualitatively and quantitatively, meanwhile revealing great potential in real-world applications. Our code and dataset are available.
• Abstract（参考訳）: イメージインペインティングの難しい問題は、腐敗した領域の複雑な構造を復元することである。 インタラクティブなイメージのインパインティングを動機付け、スケッチなどの追加ヒントを活用してインパインティングプロセスを支援する。 sketchはエンドユーザーにはシンプルで直感的だが、ランダム性のあるフリーフォームがある。 このようなランダム性は、塗装されたモデルと混同し、完成した画像に深刻なアーティファクトを引き起こす可能性がある。 この問題に対処するため,sketchrefinerと呼ばれる2段階画像インペインティング手法を提案する。 第1段階では,利用者に提供されたスケッチを粗い方法で校正し,洗練するために,相互相関損失関数を用いることを提案する。 第2段階では,特徴空間の抽象的スケッチから情報的特徴を抽出し,着色過程を変調する。 また,実際のスケッチを自動的にシミュレートし,異なるアプリケーションでテストプロトコルを構築するアルゴリズムを提案する。 公開データセットの実験結果によると、SketchRefinerはスケッチ情報を効果的に利用し、フリーフォームスケッチによるアーティファクトを排除している。 本手法は定性的にも量的にも常に最先端の手法よりも優れており,一方で実世界のアプリケーションにおいても大きな可能性を秘めている。 コードとデータセットが利用可能です。

関連論文リスト

• Sketch-guided Image Inpainting with Partial Discrete Diffusion Process [5.005162730122933]
  スケッチ誘導インペイントのための新しい部分離散拡散法(PDDP)を提案する。 PDDPは画像のマスキング領域を破損させ、手描きスケッチで条件付けられたこれらのマスキング領域を再構築する。 提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。
  論文  参考訳（メタデータ） (2024-04-18T07:07:38Z)
• DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
  スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。 我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。 我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
  論文  参考訳（メタデータ） (2023-05-30T07:59:23Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches [95.45728042499836]
  マスクレス局所画像操作という,スケッチに基づく画像操作の新しいパラダイムを提案する。 本モデルでは,対象の修正領域を自動的に予測し,構造型ベクトルにエンコードする。 ジェネレータは、スタイルベクトルとスケッチに基づいて、新しいイメージコンテンツを合成する。
  論文  参考訳（メタデータ） (2021-11-30T02:42:31Z)
• Sketch-Guided Scenery Image Outpainting [83.6612152173028]
  本稿では,スケッチ誘導露光を行うエンコーダデコーダに基づくネットワークを提案する。 全体的アライメントモジュールを適用して、合成された部分をグローバルビューの実際のものと類似させる。 第2に, 合成した部分からスケッチを逆向きに生成し, 接地した部分との整合性を奨励する。
  論文  参考訳（メタデータ） (2020-06-17T11:34:36Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。