論文の概要: Reference-Guided Texture and Structure Inference for Image Inpainting

• arxiv url: http://arxiv.org/abs/2207.14498v1
• Date: Fri, 29 Jul 2022 06:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-01 12:56:24.389657
• Title: Reference-Guided Texture and Structure Inference for Image Inpainting
• Title（参考訳）: 画像インパインティングのための参照誘導テクスチャと構造推論
• Authors: Taorong Liu, Liang Liao, Zheng Wang, Shin'ichi Satoh
• Abstract要約: インペインティングのための10K対の入力画像と参照画像を含むベンチマークデータセットを構築した。 入力画像のテクスチャや構造的特徴を推測するために,エンコーダ・デコーダ構造を採用する。 さらに、参照画像の誘導により、入力画像のこれらの特徴を洗練するように、特徴アライメントモジュールを設計する。
• 参考スコア（独自算出の注目度）: 25.775006005766222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing learning-based image inpainting methods are still in challenge when facing complex semantic environments and diverse hole patterns. The prior information learned from the large scale training data is still insufficient for these situations. Reference images captured covering the same scenes share similar texture and structure priors with the corrupted images, which offers new prospects for the image inpainting tasks. Inspired by this, we first build a benchmark dataset containing 10K pairs of input and reference images for reference-guided inpainting. Then we adopt an encoder-decoder structure to separately infer the texture and structure features of the input image considering their pattern discrepancy of texture and structure during inpainting. A feature alignment module is further designed to refine these features of the input image with the guidance of a reference image. Both quantitative and qualitative evaluations demonstrate the superiority of our method over the state-of-the-art methods in terms of completing complex holes.
• Abstract（参考訳）: 複雑なセマンティック環境や多様な穴のパターンに直面する場合、既存の学習ベースの画像インパインティング手法は依然として課題である。 大規模トレーニングデータから得られた事前情報は,これらの状況にはまだ不十分である。 同じシーンをカバーした参照画像は、破損した画像と類似したテクスチャと構造を共用し、画像の塗装作業の新たな見通しを提供する。 これに触発されて,まず10kペアの入力および参照画像を含むベンチマークデータセットを構築した。 次に,入力画像のテクスチャとテクスチャのパターンの相違を考慮したテクスチャと構造特徴を分離的に推定するエンコーダ・デコーダ構造を採用する。 特徴アライメントモジュールはさらに、参照画像のガイダンスにより入力画像の特徴を洗練するように設計されている。 定量的および定性的な評価は、複素孔の完成の観点から、最先端の手法よりも優れていることを示す。

関連論文リスト

• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• Cross-Image Attention for Zero-Shot Appearance Transfer [68.43651329067393]
  画像間の意味的対応を暗黙的に確立するクロスイメージアテンション機構を導入する。 ノイズの多い潜在コードを操作する3つのメカニズムと、デノナイジングプロセスを通してモデルの内部表現を利用する。 実験により,本手法は多種多様な対象カテゴリに対して有効であり,形状,大きさ,視点の変動に頑健であることが示された。
  論文  参考訳（メタデータ） (2023-11-06T18:33:24Z)
• TransRef: Multi-Scale Reference Embedding Transformer for Reference-Guided Image Inpainting [45.31389892299325]
  本稿では,トランスレフと呼ばれるトランスフォーマーベースのエンコーダデコーダネットワークを提案する。 参照特徴を正確に活用するために、参照パッチアライメント(Ref-PA)モジュールを提案し、参照画像と破損画像のパッチ特徴を整列させる。 入力画像と参照画像の50Kペアを含む,公開可能なベンチマークデータセットを構築した。
  論文  参考訳（メタデータ） (2023-06-20T13:31:33Z)
• SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
  任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。 このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。 本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:05Z)
• Delving Globally into Texture and Structure for Image Inpainting [20.954875933730808]
  画像の塗布は目覚ましい進歩を遂げ、豊富な手法にインスピレーションを与え、重要なボトルネックは、マスキング領域における高周波構造と低周波テクスチャ情報のセマンティクスを満たす方法として特定される。 本稿では,テクスチャと構造情報を世界規模で探索し,画像インペイントのセマンティクスをうまく把握する。 我々のモデルは、テクスチャと構造情報の観点から、コナールニューラルネットワーク(CNN)やアテンション、トランスフォーマーモデルといったファッショナブルな芸術への進化である。
  論文  参考訳（メタデータ） (2022-09-17T02:19:26Z)
• Image Inpainting Guided by Coherence Priors of Semantics and Textures [62.92586889409379]
  セマンティクスとテクスチャ間のコヒーレンスプリエンスを導入することにより、セマンティクス的な方法で別々のテクスチャを完成させることに集中できる。 また,全体構造と詳細なテクスチャの観点から,セマンティクスとインペインテッドイメージの一貫性を制約する2つのコヒーレンス損失を提案する。
  論文  参考訳（メタデータ） (2020-12-15T02:59:37Z)
• Region-adaptive Texture Enhancement for Detailed Person Image Synthesis [86.69934638569815]
  RATE-Netは、シャープなテクスチャで人物画像を合成するための新しいフレームワークである。 提案するフレームワークは,テクスチャ強化モジュールを利用して,画像から外観情報を抽出する。 DeepFashionベンチマークデータセットで実施された実験は、既存のネットワークと比較して、我々のフレームワークの優位性を実証した。
  論文  参考訳（メタデータ） (2020-05-26T02:33:21Z)
• Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes [54.836331922449666]
  本稿では,SGE-Net(Semantic Guidance and Evaluation Network)を提案する。 セマンティックセグメンテーションマップをインペイントの各尺度のガイダンスとして利用し、そこで位置依存推論を再評価する。 混合シーンの現実画像に対する実験により,提案手法が最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-03-15T17:49:20Z)
• Learning to Incorporate Structure Knowledge for Image Inpainting [20.93448933499842]
  本稿では,画像の描画を支援するために,画像構造知識を取り入れたマルチタスク学習フレームワークを開発する。 第一のアイデアは、共有ジェネレータをトレーニングして、破損した画像と対応する構造を同時に完成させることである。 また,学習した構造特徴を塗布プロセスに明示的に埋め込む構造埋め込み方式も導入する。
  論文  参考訳（メタデータ） (2020-02-11T02:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。