論文の概要: Image Inpainting Guided by Coherence Priors of Semantics and Textures

• arxiv url: http://arxiv.org/abs/2012.08054v1
• Date: Tue, 15 Dec 2020 02:59:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 12:18:57.242298
• Title: Image Inpainting Guided by Coherence Priors of Semantics and Textures
• Title（参考訳）: 意味論とテクスチャのコヒーレンス優先によるイメージインペインティング
• Authors: Liang Liao, Jing Xiao, Zheng Wang, Chia-Wen Lin, Shin'ichi Satoh
• Abstract要約: セマンティクスとテクスチャ間のコヒーレンスプリエンスを導入することにより、セマンティクス的な方法で別々のテクスチャを完成させることに集中できる。 また,全体構造と詳細なテクスチャの観点から,セマンティクスとインペインテッドイメージの一貫性を制約する2つのコヒーレンス損失を提案する。
• 参考スコア（独自算出の注目度）: 62.92586889409379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing inpainting methods have achieved promising performance in recovering defected images of specific scenes. However, filling holes involving multiple semantic categories remains challenging due to the obscure semantic boundaries and the mixture of different semantic textures. In this paper, we introduce coherence priors between the semantics and textures which make it possible to concentrate on completing separate textures in a semantic-wise manner. Specifically, we adopt a multi-scale joint optimization framework to first model the coherence priors and then accordingly interleavingly optimize image inpainting and semantic segmentation in a coarse-to-fine manner. A Semantic-Wise Attention Propagation (SWAP) module is devised to refine completed image textures across scales by exploring non-local semantic coherence, which effectively mitigates mix-up of textures. We also propose two coherence losses to constrain the consistency between the semantics and the inpainted image in terms of the overall structure and detailed textures. Experimental results demonstrate the superiority of our proposed method for challenging cases with complex holes.
• Abstract（参考訳）: 既存の塗装法は、特定のシーンの欠陥画像の復元に有望な性能を実現している。 しかしながら、複数の意味カテゴリーを含む穴を埋めることは、曖昧な意味的境界と異なる意味的テクスチャの混合のため、依然として困難である。 本稿では,テクスチャのセマンティクスとテクスチャのコヒーレンス先行について述べる。 具体的には,まずコヒーレンス前処理をモデル化し,それに従って画像インペインティングと意味セグメンテーションを粗い方法で相互に最適化するマルチスケール協調最適化フレームワークを採用する。 テクスチャのミックスアップを効果的に緩和する非局所的なセマンティクスコヒーレンスを探索することにより、スケール全体の完成されたテクスチャを洗練するために、swap(semantic-wise attention propagation)モジュールが考案された。 また,全体構造と詳細なテクスチャの観点から,セマンティクスと塗装画像の一貫性を制約する2つのコヒーレンス損失を提案する。 実験により,複素孔を有する難問に対する提案手法の優位性を示した。

関連論文リスト

• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment [112.45442468794658]
  本稿では,RealignDiffという2段階の粗大なセマンティックアライメント手法を提案する。 粗いセマンティックリアライメントフェーズにおいて、生成された画像キャプションと与えられたテキストプロンプトとのセマンティックな相違を評価するために、新しいキャプション報酬を提案する。 微妙なセマンティックリアライメントステージは、局所的な密集キャプション生成モジュールと再重み付けアテンション変調モジュールを用いて、局所的なセマンティックビューから生成された画像を洗練する。
  論文  参考訳（メタデータ） (2023-05-31T06:59:21Z)
• Semantic Image Translation for Repairing the Texture Defects of Building Models [16.764719266178655]
  本稿では, ファサードテクスチャ画像の合成手法を提案する。 提案手法は,既存のテクスチャを欠いたファッケードに対して,テクスチャイメージを特定のスタイルで合成することも可能である。
  論文  参考訳（メタデータ） (2023-03-30T14:38:53Z)
• Reference-Guided Texture and Structure Inference for Image Inpainting [25.775006005766222]
  インペインティングのための10K対の入力画像と参照画像を含むベンチマークデータセットを構築した。 入力画像のテクスチャや構造的特徴を推測するために,エンコーダ・デコーダ構造を採用する。 さらに、参照画像の誘導により、入力画像のこれらの特徴を洗練するように、特徴アライメントモジュールを設計する。
  論文  参考訳（メタデータ） (2022-07-29T06:26:03Z)
• Marginal Contrastive Correspondence for Guided Image Generation [58.0605433671196]
  例題に基づく画像翻訳は、条件入力と2つの異なる領域からの例題間の密接な対応を確立する。 既存の作業は、2つのドメインにまたがる機能的距離を最小化することで、ドメイン間の通信を暗黙的に構築する。 本稿では,MCL-Net(Marginal Contrastive Learning Network)の設計を行った。
  論文  参考訳（メタデータ） (2022-04-01T13:55:44Z)
• Image Quality Assessment: Unifying Structure and Texture Similarity [38.05659069533254]
  テクスチャリサンプリングに対する耐性を明示した,最初のフル参照画像品質モデルを開発した。 畳み込みニューラルネットワークを用いて、画像をオーバーコンプリート表現に変換するインジェクティブで微分可能な関数を構築する。
  論文  参考訳（メタデータ） (2020-04-16T16:11:46Z)
• Cross-domain Correspondence Learning for Exemplar-based Image Translation [59.35767271091425]
  本稿では,異なる領域の入力からフォトリアリスティックな画像を合成する,例題に基づく画像翻訳のためのフレームワークを提案する。 出力は、例において意味的に対応するオブジェクトと整合したスタイル(例えば、色、テクスチャ)を持つ。 本手法は画像品質の面で最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-12T09:10:57Z)
• Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes [54.836331922449666]
  本稿では,SGE-Net(Semantic Guidance and Evaluation Network)を提案する。 セマンティックセグメンテーションマップをインペイントの各尺度のガイダンスとして利用し、そこで位置依存推論を再評価する。 混合シーンの現実画像に対する実験により,提案手法が最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-03-15T17:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。