論文の概要: Image Inpainting via Conditional Texture and Structure Dual Generation

• arxiv url: http://arxiv.org/abs/2108.09760v2
• Date: Sat, 6 Apr 2024 15:11:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 06:04:02.973496
• Title: Image Inpainting via Conditional Texture and Structure Dual Generation
• Title（参考訳）: 条件付きテクスチャと構造双対生成による画像塗布
• Authors: Xiefan Guo, Hongyu Yang, Di Huang,
• Abstract要約: 本稿では, 構造制約によるテクスチャ合成とテクスチャ誘導による構造再構築をモデル化した, 画像インペイントのための新しい2ストリームネットワークを提案する。 グローバルな一貫性を高めるため、双方向Gated Feature Fusion (Bi-GFF)モジュールは構造情報とテクスチャ情報を交換・結合するように設計されている。 CelebA、Paris StreetView、Places2データセットの実験は、提案手法の優位性を実証している。
• 参考スコア（独自算出の注目度）: 26.97159780261334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative approaches have recently made considerable progress in image inpainting by introducing structure priors. Due to the lack of proper interaction with image texture during structure reconstruction, however, current solutions are incompetent in handling the cases with large corruptions, and they generally suffer from distorted results. In this paper, we propose a novel two-stream network for image inpainting, which models the structure-constrained texture synthesis and texture-guided structure reconstruction in a coupled manner so that they better leverage each other for more plausible generation. Furthermore, to enhance the global consistency, a Bi-directional Gated Feature Fusion (Bi-GFF) module is designed to exchange and combine the structure and texture information and a Contextual Feature Aggregation (CFA) module is developed to refine the generated contents by region affinity learning and multi-scale feature aggregation. Qualitative and quantitative experiments on the CelebA, Paris StreetView and Places2 datasets demonstrate the superiority of the proposed method. Our code is available at https://github.com/Xiefan-Guo/CTSDG.
• Abstract（参考訳）: 深部生成的アプローチは、最近、構造先行の導入により、画像の塗布にかなりの進歩をもたらした。 しかし, 構造復元における画像テクスチャとの適切な相互作用が欠如しているため, 現状の解法は大規模な汚職を抱える場合の処理には不適であり, 概して歪曲した結果に悩まされる。 本稿では, 構造制約によるテクスチャ合成とテクスチャ誘導による構造再構成を結合的にモデル化し, より高信頼な生成のために相互に有効に活用する, 画像インパインティングのための新しい2ストリームネットワークを提案する。 さらに、グローバルな一貫性を高めるため、構造情報とテクスチャ情報を交換・結合する双方向Gated Feature Fusion(Bi-GFF)モジュールと、領域親和性学習とマルチスケール特徴集約により生成されたコンテンツを洗練するためのコンテキスト特徴集約(CFA)モジュールを開発する。 CelebA、Paris StreetView、Places2データセットの定性的および定量的実験は、提案手法の優位性を示している。 私たちのコードはhttps://github.com/Xiefan-Guo/CTSDG.comで公開されています。

関連論文リスト

• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and Latent Diffusion [50.59261592343479]
  本稿では、潜伏拡散アーキテクチャの新しい探索であるKandinsky1を紹介する。 提案したモデルは、CLIPのイメージ埋め込みにテキスト埋め込みをマッピングするために別々に訓練されている。 また,テキスト・ツー・イメージ生成,画像融合,テキスト・画像融合,画像のバリエーション生成,テキスト・インペイント/アウトペイントなど,多様な生成モードをサポートするユーザフレンドリーなデモシステムも展開した。
  論文  参考訳（メタデータ） (2023-10-05T12:29:41Z)
• A Structure-Guided Diffusion Model for Large-Hole Image Completion [85.61681358977266]
  画像中の大きな穴を埋める構造誘導拡散モデルを開発した。 本手法は,最先端の手法と比較して,優れた,あるいは同等の視覚的品質を実現する。
  論文  参考訳（メタデータ） (2022-11-18T18:59:01Z)
• Keys to Better Image Inpainting: Structure and Texture Go Hand in Hand [28.32208483559088]
  インペイントアルゴリズムの性能は、生成された構造やテクスチャによってよりよく判断できると主張している。 本稿では,2つの設計の利点を組み合わせた新しい塗装ネットワークを提案する。 本モデルは,構造生成と繰り返しテクスチャ合成の両面において,最先端の性能に匹敵する視覚的品質を実現する。
  論文  参考訳（メタデータ） (2022-08-05T20:42:13Z)
• Multi-feature Co-learning for Image Inpainting [2.4571440831539824]
  本稿では,画像インペイントのための深層多機能コラーニングネットワークを設計する。 具体的には、まず2つの枝を使って、構造的特徴とテクスチャ的特徴を別々に学習する。 SDFFモジュールはテクスチャ特徴に構造特徴を統合するとともに,テクスチャ特徴を構造特徴の生成補助として利用する。
  論文  参考訳（メタデータ） (2022-05-21T12:15:26Z)
• Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE [74.29384873537587]
  本稿では,異なる構造を持つ複数の粗い結果を第1段階で生成し,第2段階ではテクスチャを増補して各粗い結果を別々に洗練する,多彩な塗布用2段階モデルを提案する。 CelebA-HQ, Places2, ImageNetデータセットによる実験結果から,本手法は塗布ソリューションの多様性を向上するだけでなく,生成した複数の画像の視覚的品質も向上することが示された。
  論文  参考訳（メタデータ） (2021-03-18T05:10:49Z)
• Conceptual Compression via Deep Structure and Texture Synthesis [42.68994438290913]
  本稿では,視覚データをコンパクトな構造とテクスチャ表現にエンコードし,深層合成方式でデコードする,新しい概念圧縮フレームワークを提案する。 特に,2つの相補的な視覚特徴からなる二重層モデルを用いて画像の圧縮を提案する。 エンコーダ側では、構造地図とテクスチャ表現を個別に抽出して圧縮し、コンパクトで解釈可能な、相互運用可能なビットストリームを生成する。 復号段階では, 階層的融合GAN (HF-GAN) が提案され, テクスチャがデコードされた構造写像に描画される合成パラダイムを学習し, 高品質な再構成を実現する。
  論文  参考訳（メタデータ） (2020-11-10T08:48:32Z)
• Region-adaptive Texture Enhancement for Detailed Person Image Synthesis [86.69934638569815]
  RATE-Netは、シャープなテクスチャで人物画像を合成するための新しいフレームワークである。 提案するフレームワークは,テクスチャ強化モジュールを利用して,画像から外観情報を抽出する。 DeepFashionベンチマークデータセットで実施された実験は、既存のネットワークと比較して、我々のフレームワークの優位性を実証した。
  論文  参考訳（メタデータ） (2020-05-26T02:33:21Z)
• Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes [54.836331922449666]
  本稿では,SGE-Net(Semantic Guidance and Evaluation Network)を提案する。 セマンティックセグメンテーションマップをインペイントの各尺度のガイダンスとして利用し、そこで位置依存推論を再評価する。 混合シーンの現実画像に対する実験により,提案手法が最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-03-15T17:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。