論文の概要: Deep Generative Model for Image Inpainting with Local Binary Pattern Learning and Spatial Attention

• arxiv url: http://arxiv.org/abs/2009.01031v1
• Date: Wed, 2 Sep 2020 12:59:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 19:30:09.146049
• Title: Deep Generative Model for Image Inpainting with Local Binary Pattern Learning and Spatial Attention
• Title（参考訳）: 局所二項パターン学習と空間的注意を用いた画像の深部生成モデル
• Authors: Haiwei Wu and Jiantao Zhou and Yuanman Li
• Abstract要約: 本稿では,LBP学習ネットワークと実際の塗布ネットワークを組み合わせることで,エンド・ツー・エンドの2段階(粗い)生成モデルを提案する。 CelebA-HQ、Places、Paris StreetViewといった公開データセットの実験では、我々のモデルは最先端の競合するアルゴリズムよりも優れた塗装結果を生成する。
• 参考スコア（独自算出の注目度）: 28.807711307545112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning (DL) has demonstrated its powerful capabilities in the field of image inpainting. The DL-based image inpainting approaches can produce visually plausible results, but often generate various unpleasant artifacts, especially in the boundary and highly textured regions. To tackle this challenge, in this work, we propose a new end-to-end, two-stage (coarse-to-fine) generative model through combining a local binary pattern (LBP) learning network with an actual inpainting network. Specifically, the first LBP learning network using U-Net architecture is designed to accurately predict the structural information of the missing region, which subsequently guides the second image inpainting network for better filling the missing pixels. Furthermore, an improved spatial attention mechanism is integrated in the image inpainting network, by considering the consistency not only between the known region with the generated one, but also within the generated region itself. Extensive experiments on public datasets including CelebA-HQ, Places and Paris StreetView demonstrate that our model generates better inpainting results than the state-of-the-art competing algorithms, both quantitatively and qualitatively. The source code and trained models will be made available at https://github.com/HighwayWu/ImageInpainting.
• Abstract（参考訳）: 深層学習(DL)は画像インペイントの分野でその強力な能力を実証している。 DLベースの画像インパインティングアプローチは、視覚的に妥当な結果をもたらすが、特に境界や高度にテクスチャ化された領域において、様々な不快なアーティファクトを生成することが多い。 この課題に取り組むため,本稿では,ローカルバイナリパターン(lbp)学習ネットワークと実際のインペインティングネットワークを組み合わせた,エンド・ツー・エンド(coarse-to-fine)生成モデルを提案する。 特に、u-netアーキテクチャを用いた第1のlpp学習ネットワークは、欠落した領域の構造情報を精度良く予測するように設計され、欠落したピクセルをよりよく満たすために、第2の画像インペインティングネットワークをガイドする。 さらに、既知の領域と生成された領域との一貫性だけでなく、生成された領域自体の一貫性も考慮し、改善された空間注意機構を画像塗装ネットワークに統合する。 CelebA-HQ、Places、Paris StreetViewといった公開データセットに対する大規模な実験は、我々のモデルが、最先端の競合アルゴリズムよりも定量的かつ定性的に、より良い塗装結果を生成することを示した。 ソースコードとトレーニングされたモデルはhttps://github.com/HighwayWu/ImageInpainting.comで公開される。

関連論文リスト

• Learning Prior Feature and Attention Enhanced Image Inpainting [63.21231753407192]
  本稿では,事前学習に基づくMasked AutoEncoder(MAE)を塗装モデルに組み込む。 マスク付き領域とマスキングされていない領域間の長距離依存性をより学習させるために,MAE の注意点を用いた手法を提案する。
  論文  参考訳（メタデータ） (2022-08-03T04:32:53Z)
• Contextual Attention Mechanism, SRGAN Based Inpainting System for Eliminating Interruptions from Images [2.894944733573589]
  完全な機械学習アプローチを用いて,画像のインペイントのためのエンドツーエンドパイプラインを提案する。 まず、YOLOモデルを使用して、画像から削除したいオブジェクトを自動的に識別し、ローカライズします。 その後、領域を埋めるためにコンテキストアテンション法を用いたGANモデルにマスク画像とオリジナル画像を提供する。
  論文  参考訳（メタデータ） (2022-04-06T05:51:04Z)
• Local and Global GANs with Semantic-Aware Upsampling for Image Generation [201.39323496042527]
  ローカルコンテキストを用いて画像を生成することを検討する。 セマンティックマップをガイダンスとして用いたクラス固有の生成ネットワークを提案する。 最後に,セマンティック・アウェア・アップサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-02-28T19:24:25Z)
• Fully Context-Aware Image Inpainting with a Learned Semantic Pyramid [102.24539566851809]
  画像中の任意の欠落する領域に対して、合理的で現実的なコンテンツを復元することは、重要な課題である。 最近の画像インパインティングモデルは鮮明な視覚的詳細を生成するために大きな進歩を遂げているが、それでもテクスチャのぼやけや構造的歪みにつながる可能性がある。 本研究では,画像中の局所的欠落コンテンツの回復に大きく貢献する,多スケールなセマンティック・セマンティック・ピラミッド・ネットワーク(SPN)を提案する。
  論文  参考訳（メタデータ） (2021-12-08T04:33:33Z)
• Boosting Image Outpainting with Semantic Layout Prediction [18.819765707811904]
  我々は、画像ドメインの代わりにセマンティックセグメンテーションドメイン内の領域を拡張するために、GANを訓練する。 別のGANモデルは、拡張されたセマンティックレイアウトに基づいて実際の画像を合成するように訓練されている。 我々のアプローチは意味的な手がかりをより容易に扱えるので、複雑なシナリオではよりうまく機能します。
  論文  参考訳（メタデータ） (2021-10-18T13:09:31Z)
• Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE [74.29384873537587]
  本稿では,異なる構造を持つ複数の粗い結果を第1段階で生成し,第2段階ではテクスチャを増補して各粗い結果を別々に洗練する,多彩な塗布用2段階モデルを提案する。 CelebA-HQ, Places2, ImageNetデータセットによる実験結果から,本手法は塗布ソリューションの多様性を向上するだけでなく,生成した複数の画像の視覚的品質も向上することが示された。
  論文  参考訳（メタデータ） (2021-03-18T05:10:49Z)
• Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
  画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。 エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。 本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-29T14:46:05Z)
• Enhanced Residual Networks for Context-based Image Outpainting [0.0]
  深いモデルは、保持された情報を通してコンテキストや外挿を理解するのに苦労する。 現在のモデルでは、生成的敵ネットワークを使用して、局所的な画像特徴の整合性が欠如し、偽のように見える結果を生成する。 本稿では,局所的・大域的判別器の使用と,ネットワークの符号化部における残差ブロックの追加という,この問題を改善するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-05-14T05:14:26Z)
• Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
  アウトペイントには2つの課題があるため、あまり注意を払わない。 第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。 第2の課題は、生成した結果の高品質を維持する方法です。
  論文  参考訳（メタデータ） (2019-12-29T16:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。