論文の概要: DeepGIN: Deep Generative Inpainting Network for Extreme Image Inpainting

• arxiv url: http://arxiv.org/abs/2008.07173v1
• Date: Mon, 17 Aug 2020 09:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 04:01:18.026330
• Title: DeepGIN: Deep Generative Inpainting Network for Extreme Image Inpainting
• Title（参考訳）: DeepGIN: 極端画像のインペインティングのためのディープジェネレーション・インペインティング・ネットワーク
• Authors: Chu-Tak Li, Wan-Chi Siu, Zhi-Song Liu, Li-Wen Wang, and Daniel Pak-Kong Lun
• Abstract要約: 本稿では,様々な種類のマスク画像を扱うために,DeepGINというディープ・ジェネレーション・インパインティング・ネットワークを提案する。 私たちのモデルは、野生でマスクされた画像を完成させることができます。
• 参考スコア（独自算出の注目度）: 45.39552853543588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The degree of difficulty in image inpainting depends on the types and sizes of the missing parts. Existing image inpainting approaches usually encounter difficulties in completing the missing parts in the wild with pleasing visual and contextual results as they are trained for either dealing with one specific type of missing patterns (mask) or unilaterally assuming the shapes and/or sizes of the masked areas. We propose a deep generative inpainting network, named DeepGIN, to handle various types of masked images. We design a Spatial Pyramid Dilation (SPD) ResNet block to enable the use of distant features for reconstruction. We also employ Multi-Scale Self-Attention (MSSA) mechanism and Back Projection (BP) technique to enhance our inpainting results. Our DeepGIN outperforms the state-of-the-art approaches generally, including two publicly available datasets (FFHQ and Oxford Buildings), both quantitatively and qualitatively. We also demonstrate that our model is capable of completing masked images in the wild.
• Abstract（参考訳）: イメージインペインティングの難しさは、欠落している部分の種類やサイズに依存する。 既存の画像塗装アプローチは、ある特定のタイプの欠落パターン(マスク)を扱うか、マスクされた領域の形状や大きさを一方的に仮定するために訓練された視覚的および文脈的な結果で、野生の欠落部分を完成させる際の困難に直面する。 我々は,様々な種類のマスク画像を扱うために,deepgin という名のディープジェネレイティブ・インペインティングネットワークを提案する。 本研究では,空間ピラミッド拡張(SPD)ResNetブロックを設計し,遠隔地特徴の復元を可能にする。 また,マルチスケール自己認識(MSSA)機構とバックプロジェクション(BP)技術を用いて,着色効果を高める。 私たちのDeepGINは、2つの公開データセット(FFHQとOxford Buildings)を含む最先端のアプローチよりも、量的にも質的にも優れています。 また,本モデルでは,マスキング画像の野生化が可能であることも実証した。

関連論文リスト

• VIP: Versatile Image Outpainting Empowered by Multimodal Large Language Model [76.02314305164595]
  本研究は,ユーザの要求に応じて結果のカスタマイズが可能な,新たな画像出力フレームワークを提案する。 画像のマスキング部分とマスキング部分のテキスト記述を自動的に抽出し整理するマルチモーダル大言語モデル(MLLM)を利用する。 さらに、画像の特定の空間領域とテキストプロンプトの対応する部分との相互作用を強化するために、特別にCentral-Total-Surrounding (CTS) と呼ばれるCentral-Attentionモジュールが精巧に設計されている。
  論文  参考訳（メタデータ） (2024-06-03T07:14:19Z)
• Sketch-guided Image Inpainting with Partial Discrete Diffusion Process [5.005162730122933]
  スケッチ誘導インペイントのための新しい部分離散拡散法(PDDP)を提案する。 PDDPは画像のマスキング領域を破損させ、手描きスケッチで条件付けられたこれらのマスキング領域を再構築する。 提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。
  論文  参考訳（メタデータ） (2024-04-18T07:07:38Z)
• Layered Depth Refinement with Mask Guidance [61.10654666344419]
  汎用マスクを用いてSIDEモデルの深度予測を洗練させるマスク誘導深度改善の新しい問題を定式化する。 本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。 本手法は,内面境界領域と外面境界領域の深度を正確に補正し,異なる種類のマスクや初期深度予測に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-06-07T06:42:44Z)
• Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal Fusion with Depth Guidance [49.94504248096527]
  異なるモードの特徴表現をモデル化するためのDGONet(Depth-Guided Outpainting Network)を提案する。 1)マルチモーダル学習モジュールは、異なるモーダル特性の観点から独自の深さとRGBの特徴表現を生成する。 我々は、不明瞭な輪郭を増進し、信頼性の高いコンテンツ生成を迅速化するために、クロスモーダルロスとエッジロスからなる追加の制約戦略を特別に設計する。
  論文  参考訳（メタデータ） (2022-04-12T06:06:50Z)
• Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps [85.67745220834718]
  不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。 当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。 広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
  論文  参考訳（メタデータ） (2021-04-25T07:25:16Z)
• Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
  画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。 エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。 本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-29T14:46:05Z)
• Deep Generative Model for Image Inpainting with Local Binary Pattern Learning and Spatial Attention [28.807711307545112]
  本稿では,LBP学習ネットワークと実際の塗布ネットワークを組み合わせることで,エンド・ツー・エンドの2段階(粗い)生成モデルを提案する。 CelebA-HQ、Places、Paris StreetViewといった公開データセットの実験では、我々のモデルは最先端の競合するアルゴリズムよりも優れた塗装結果を生成する。
  論文  参考訳（メタデータ） (2020-09-02T12:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。