論文の概要: Texture Memory-Augmented Deep Patch-Based Image Inpainting

• arxiv url: http://arxiv.org/abs/2009.13240v2
• Date: Thu, 4 Nov 2021 04:11:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 21:40:37.884197
• Title: Texture Memory-Augmented Deep Patch-Based Image Inpainting
• Title（参考訳）: テクスチャメモリによる深部パッチベースイメージインパインティング
• Authors: Rui Xu, Minghao Guo, Jiaqi Wang, Xiaoxiao Li, Bolei Zhou, Chen Change Loy
• Abstract要約: 本研究では,未成熟領域から抽出したパッチサンプルのテクスチャメモリによってテクスチャ生成をガイドする,新しいディープ・インペイント・フレームワークを提案する。 このフレームワークは、テクスチャメモリの検索を、ディープ・インパインティング・ネットワークでエンドツーエンドにトレーニングできる新しい設計である。 提案手法は,3つの課題の画像ベンチマークにおいて,質的かつ定量的に優れた性能を示す。
• 参考スコア（独自算出の注目度）: 121.41395272974611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Patch-based methods and deep networks have been employed to tackle image inpainting problem, with their own strengths and weaknesses. Patch-based methods are capable of restoring a missing region with high-quality texture through searching nearest neighbor patches from the unmasked regions. However, these methods bring problematic contents when recovering large missing regions. Deep networks, on the other hand, show promising results in completing large regions. Nonetheless, the results often lack faithful and sharp details that resemble the surrounding area. By bringing together the best of both paradigms, we propose a new deep inpainting framework where texture generation is guided by a texture memory of patch samples extracted from unmasked regions. The framework has a novel design that allows texture memory retrieval to be trained end-to-end with the deep inpainting network. In addition, we introduce a patch distribution loss to encourage high-quality patch synthesis. The proposed method shows superior performance both qualitatively and quantitatively on three challenging image benchmarks, i.e., Places, CelebA-HQ, and Paris Street-View datasets.
• Abstract（参考訳）: パッチベースの手法とディープネットワークは、独自の強みと弱点を持つ画像の塗装問題に取り組むために採用されている。 パッチベースの手法は、未処理領域から最寄りのパッチを検索することで、欠落した領域を高品質なテクスチャで復元することができる。 しかし,大きな欠落領域を回復する際に問題となる内容をもたらす。 一方、ディープネットワークは、大きな領域を完了させる有望な結果を示している。 それでも、結果は周囲に類似した忠実で鋭い詳細を欠いていることが多い。 両パラダイムの長所をまとめて,未成熟領域から抽出したパッチサンプルのテクスチャメモリによってテクスチャ生成をガイドする,新しいディープインペインティングフレームワークを提案する。 このフレームワークは、テクスチャメモリの検索をディープ・インパインティング・ネットワークでエンドツーエンドにトレーニングできる新しい設計である。 さらに,高品質なパッチ合成を促進するパッチ配布損失について紹介する。 提案手法は,places,celeba-hq,paris street-viewデータセットの3つの挑戦的画像ベンチマークにおいて,質的および定量的に優れた性能を示す。

関連論文リスト

• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• EXTRACTER: Efficient Texture Matching with Attention and Gradient Enhancing for Large Scale Image Super Resolution [0.0]
  近年のレファレンスベース画像超解像(RefSR)は、低解像度画像の高精細化を目的とした注意機構を導入したSOTAディープ手法を改善している。 より効率的なメモリ使用率を持つディープ検索を提案し,画像パッチ数を大幅に削減する。
  論文  参考訳（メタデータ） (2023-10-02T17:41:56Z)
• Delving Globally into Texture and Structure for Image Inpainting [20.954875933730808]
  画像の塗布は目覚ましい進歩を遂げ、豊富な手法にインスピレーションを与え、重要なボトルネックは、マスキング領域における高周波構造と低周波テクスチャ情報のセマンティクスを満たす方法として特定される。 本稿では,テクスチャと構造情報を世界規模で探索し,画像インペイントのセマンティクスをうまく把握する。 我々のモデルは、テクスチャと構造情報の観点から、コナールニューラルネットワーク(CNN)やアテンション、トランスフォーマーモデルといったファッショナブルな芸術への進化である。
  論文  参考訳（メタデータ） (2022-09-17T02:19:26Z)
• Patch-Based Stochastic Attention for Image Editing [4.8201607588546]
  PatchMatchアルゴリズムをベースとした,近接する近傍近傍の同定に有効なアテンション層を提案する。 画像インペイント, ガイド画像のカラー化, シングルイメージ超解像など, 画像編集作業におけるPSALの有用性を示す。
  論文  参考訳（メタデータ） (2022-02-07T13:42:00Z)
• In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
  image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。 本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。 私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
  論文  参考訳（メタデータ） (2021-04-01T17:59:10Z)
• Texture Transform Attention for Realistic Image Inpainting [6.275013056564918]
  本研究では,細心の注意を払って絵を描いていない領域をより良く生成するテクスチャトランスフォーメーション・アテンション・ネットワークを提案する。 Texture Transform Attentionは、細かいテクスチャと粗いセマンティクスを使用して、新しい再組み立てテクスチャマップを作成するために使用されます。 我々は,公開データセット celeba-hq と places2 を用いて,エンドツーエンドでモデルを評価する。
  論文  参考訳（メタデータ） (2020-12-08T06:28:51Z)
• Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
  画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。 エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。 本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-29T14:46:05Z)
• Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes [54.836331922449666]
  本稿では,SGE-Net(Semantic Guidance and Evaluation Network)を提案する。 セマンティックセグメンテーションマップをインペイントの各尺度のガイダンスとして利用し、そこで位置依存推論を再評価する。 混合シーンの現実画像に対する実験により,提案手法が最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-03-15T17:49:20Z)
• Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
  アウトペイントには2つの課題があるため、あまり注意を払わない。 第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。 第2の課題は、生成した結果の高品質を維持する方法です。
  論文  参考訳（メタデータ） (2019-12-29T16:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。