論文の概要: JPGNet: Joint Predictive Filtering and Generative Network for Image
Inpainting
- arxiv url: http://arxiv.org/abs/2107.04281v1
- Date: Fri, 9 Jul 2021 07:49:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-12 13:48:14.245985
- Title: JPGNet: Joint Predictive Filtering and Generative Network for Image
Inpainting
- Title(参考訳): JPGNet:イメージインペイントのための共同予測フィルタと生成ネットワーク
- Authors: Xiaoguang Li and Qing Guo and Felix Juefei-Xu and Hongkai Yu and Yang
Liu and Song wang
- Abstract要約: 画像インパインティングは、欠落した領域を復元し、元の完全な画像と同じ回復結果を作成することを目的としている。
現存する作品は、これを純粋な生成問題とみなし、それに対応するために最先端の生成技術を採用している。
本稿では,2つの問題,すなわち予測フィルタリングと深部生成の混合として,画像のインペイントを定式化する。
- 参考スコア(独自算出の注目度): 21.936689731138213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image inpainting aims to restore the missing regions and make the recovery
results identical to the originally complete image, which is different from the
common generative task emphasizing the naturalness of generated images.
Nevertheless, existing works usually regard it as a pure generation problem and
employ cutting-edge generative techniques to address it. The generative
networks fill the main missing parts with realistic contents but usually
distort the local structures. In this paper, we formulate image inpainting as a
mix of two problems, i.e., predictive filtering and deep generation. Predictive
filtering is good at preserving local structures and removing artifacts but
falls short to complete the large missing regions. The deep generative network
can fill the numerous missing pixels based on the understanding of the whole
scene but hardly restores the details identical to the original ones. To make
use of their respective advantages, we propose the joint predictive filtering
and generative network (JPGNet) that contains three branches: predictive
filtering & uncertainty network (PFUNet), deep generative network, and
uncertainty-aware fusion network (UAFNet). The PFUNet can adaptively predict
pixel-wise kernels for filtering-based inpainting according to the input image
and output an uncertainty map. This map indicates the pixels should be
processed by filtering or generative networks, which is further fed to the
UAFNet for a smart combination between filtering and generative results. Note
that, our method as a novel framework for the image inpainting problem can
benefit any existing generation-based methods. We validate our method on three
public datasets, i.e., Dunhuang, Places2, and CelebA, and demonstrate that our
method can enhance three state-of-the-art generative methods (i.e., StructFlow,
EdgeConnect, and RFRNet) significantly with the slightly extra time cost.
- Abstract(参考訳): 画像インペインティングは、画像の自然性を強調する共通生成タスクとは異なる、欠落した領域を復元し、元の完全画像と同一の回復結果を得ることを目的としている。
それにもかかわらず、既存の作品では、通常は純粋な生成問題と見なされ、それに対処するために最先端の生成技術を使用している。
生成ネットワークは、主要な欠落した部分を現実的な内容で埋めるが、通常は局所構造を歪ませる。
本稿では,画像インペインティングを,予測フィルタリングと深層生成という2つの問題の混合として定式化する。
予測フィルタリングは、ローカルな構造の保存とアーティファクトの除去に優れているが、大きな欠落した領域を完遂するには不足している。
ディープジェネレーティブネットワークは、シーン全体の理解に基づいて多数の欠落画素を満たすことができるが、元のピクセルと同じ詳細を復元することはほとんどない。
それぞれの利点を利用するために,予測フィルタリング・不確実性ネットワーク(PFUNet),深層生成ネットワーク(UAFNet),不確実性認識融合ネットワーク(UAFNet)の3分野を含む共同予測フィルタリング・生成ネットワーク(JPGNet)を提案する。
PFUNetは、入力画像に応じてフィルタリングベースの塗布のための画素単位のカーネルを適応的に予測し、不確実性マップを出力する。
このマップは、ピクセルはフィルタリングまたは生成ネットワークによって処理されるべきであり、フィルタリングと生成結果の間のスマートな組み合わせのためにさらにuafnetに供給されることを示している。
画像インペイント問題に対する新しいフレームワークとしての本手法は,既存の世代ベース手法の恩恵を受けることができる。
我々は,Dunhuang,Places2,CelebAの3つの公開データセットに対して本手法の有効性を検証し,この手法が3つの最先端生成手法(StructFlow,EdgeConnect,RFRNet)を大幅に拡張できることを示す。
関連論文リスト
- Multi-Prior Learning via Neural Architecture Search for Blind Face
Restoration [61.27907052910136]
Blind Face Restoration (BFR)は、高品質な顔画像から高品質な顔画像を復元することを目的としている。
1)手動チューニングを伴わない強力なネットワークアーキテクチャの導出方法,2) 複数の顔前者からの補完情報を1つのネットワークで取得して復元性能を向上させる方法,の2つの大きな課題がある。
特定検索空間内において,適切な特徴抽出アーキテクチャを適応的に探索する顔復元検索ネットワーク(FRSNet)を提案する。
論文 参考訳(メタデータ) (2022-06-28T12:29:53Z) - Contextual Attention Mechanism, SRGAN Based Inpainting System for
Eliminating Interruptions from Images [2.894944733573589]
完全な機械学習アプローチを用いて,画像のインペイントのためのエンドツーエンドパイプラインを提案する。
まず、YOLOモデルを使用して、画像から削除したいオブジェクトを自動的に識別し、ローカライズします。
その後、領域を埋めるためにコンテキストアテンション法を用いたGANモデルにマスク画像とオリジナル画像を提供する。
論文 参考訳(メタデータ) (2022-04-06T05:51:04Z) - Location-Free Camouflage Generation Network [82.74353843283407]
カモフラージュ(Camouflage)は一般的な視覚現象で、前景の物体を背景のイメージに隠すことで、人間の目からは一時的に見えなくなる。
本稿では,前景と背景像の高次特徴を融合させ,一つの推論によって結果を生成する,ロケーションフリーなカモフラージュ生成ネットワーク(LCG-Net)を提案する。
実験により,本手法は単一外観領域における最先端技術と同程度に良好であり,完全に見えない可能性が低いが,多外観領域における最先端技術の品質をはるかに上回っていることが示された。
論文 参考訳(メタデータ) (2022-03-18T10:33:40Z) - MISF: Multi-level Interactive Siamese Filtering for High-Fidelity Image
Inpainting [35.79101039727397]
画像インペイントにおける画像レベルの予測フィルタリングの利点と課題について検討する。
カーネル予測分岐(KPB)とセマンティック・アンド・イメージ・フィルタリング分岐(SIFB)の2つの分岐を含む,MISF(Multilevel Interactive Siamese Filtering)と呼ばれる新しいフィルタリング手法を提案する。
提案手法は,4つの指標,すなわちL1,PSNR,SSIM,LPIPSにおいて,最先端のベースラインよりも優れる。
論文 参考訳(メタデータ) (2022-03-12T01:32:39Z) - Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。
エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。
本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-29T14:46:05Z) - R-MNet: A Perceptual Adversarial Network for Image Inpainting [5.471225956329675]
本稿では,新たな逆マスク演算子であるReverse Masking Network(R-MNet)と組み合わせたWasserstein GANを提案する。
提案手法は,高分解能な塗装作業に一般化でき,人間の視覚系に適応可能なよりリアルな出力を示す。
論文 参考訳(メタデータ) (2020-08-11T10:58:10Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z) - Recognizing Instagram Filtered Images with Feature De-stylization [81.38905784617089]
本稿では,Instagramのフィルターによって,事前学習モデルがどのような影響を受けているかについて検討する。
画像のグローバルな外観を変えるだけの単純な構造保存フィルタは、畳み込み特徴空間に大きな違いをもたらす可能性が示唆された。
我々は,特徴マップのスケーリングとシフトに使用されるパラメータを予測し,フィルタによって引き起こされる変化を“無視”する,軽量なデスティル化モジュールを導入する。
論文 参考訳(メタデータ) (2019-12-30T16:48:16Z) - Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
アウトペイントには2つの課題があるため、あまり注意を払わない。
第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。
第2の課題は、生成した結果の高品質を維持する方法です。
論文 参考訳(メタデータ) (2019-12-29T16:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。