論文の概要: Wavelet Prior Attention Learning in Axial Inpainting Network
- arxiv url: http://arxiv.org/abs/2206.03113v1
- Date: Tue, 7 Jun 2022 08:45:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 00:44:30.051305
- Title: Wavelet Prior Attention Learning in Axial Inpainting Network
- Title(参考訳): Axial Inpainting Networkにおけるウェーブレット事前注意学習
- Authors: Chenjie Cao, Chengrong Wang, Yuntao Zhang, Yanwei Fu
- Abstract要約: Axial Inpainting Network (WAIN) におけるウェーブレット事前注意学習モデルを提案する。
WPAは、マルチスケールの周波数領域における高レベルの特徴集約をガイドし、テキストアーティファクトを緩和する。
積み重ねられたATは、水平軸と垂直軸の低レベルの特徴とともに、合理的な特徴をモデル化するのに役立つ。
- 参考スコア(独自算出の注目度): 35.06912946192495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image inpainting is the task of filling masked or unknown regions of an image
with visually realistic contents, which has been remarkably improved by Deep
Neural Networks (DNNs) recently. Essentially, as an inverse problem, the
inpainting has the underlying challenges of reconstructing semantically
coherent results without texture artifacts. Many previous efforts have been
made via exploiting attention mechanisms and prior knowledge, such as edges and
semantic segmentation. However, these works are still limited in practice by an
avalanche of learnable prior parameters and prohibitive computational burden.
To this end, we propose a novel model -- Wavelet prior attention learning in
Axial Inpainting Network (WAIN), whose generator contains the encoder, decoder,
as well as two key components of Wavelet image Prior Attention (WPA) and
stacked multi-layer Axial-Transformers (ATs). Particularly, the WPA guides the
high-level feature aggregation in the multi-scale frequency domain, alleviating
the textual artifacts. Stacked ATs employ unmasked clues to help model
reasonable features along with low-level features of horizontal and vertical
axes, improving the semantic coherence. Extensive quantitative and qualitative
experiments on Celeba-HQ and Places2 datasets are conducted to validate that
our WAIN can achieve state-of-the-art performance over the competitors. The
codes and models will be released.
- Abstract(参考訳): 近年,Deep Neural Networks (DNN) によって著しく改善されている,視覚的にリアルな内容のマスクや未知の領域を埋める作業である。
本質的には、逆問題として、インペインティングはテクスチャアーティファクトなしで意味的コヒーレントな結果を再構築するという根本的な課題を持っている。
エッジやセマンティクスセグメンテーションといったアテンションメカニズムや事前知識を活用することで、これまで多くの取り組みがなされてきた。
しかし、これらの作品は、学習可能な事前パラメーターと計算負荷の制限によって、実際には制限されている。
そこで本研究では,エンコーダであるデコーダと,wpa(wavelet image prior attention)とats(stacked multi-layer axial-transformer)の2つのキーコンポーネントを含む,軸方向インペインティングネットワーク(wain)におけるウェーブレット事前注意学習モデルを提案する。
特に、WPAは、多スケールの周波数領域における高レベルの特徴集約をガイドし、テキストアーティファクトを緩和する。
積み重ねられたatsは、合理的な特徴をモデル化する上で、水平および垂直軸の低レベルな特徴とともに、セマンティックコヒーレンスを改善するのに役立つ。
Celeba-HQとPlaces2のデータセットに関する大規模な定量的および定性的な実験を行い、WAINが競合相手に対して最先端のパフォーマンスを達成できることを検証する。
コードとモデルがリリースされます。
関連論文リスト
- Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - Both Spatial and Frequency Cues Contribute to High-Fidelity Image
Inpainting [9.080472817672263]
深部生成的アプローチは、近年、画像の塗布において大きな成功を収めている。
ほとんどの生成的塗布ネットワークは、過度に滑らかな結果か、アーティファクトのエイリアスに悩まされている。
本研究では、空間領域と周波数領域の両方において、リッチな意味情報を活用することで、周波数空間補間ネットワーク(FSCN)を提案する。
論文 参考訳(メタデータ) (2023-07-15T01:52:06Z) - Semantic-aware Texture-Structure Feature Collaboration for Underwater
Image Enhancement [58.075720488942125]
水中画像の強調は海洋工学や水生ロボット工学において重要な技術として注目されている。
我々は,高レベルな意味認識事前学習モデルと協調して,効率的でコンパクトな拡張ネットワークを開発する。
また,提案手法を水中の有意な物体検出タスクに適用し,高レベルの視覚タスクに適した意味認識能力を明らかにする。
論文 参考訳(メタデータ) (2022-11-19T07:50:34Z) - Progressive with Purpose: Guiding Progressive Inpainting DNNs through
Context and Structure [0.0]
本稿では,処理された画像の構造的・文脈的整合性を維持する新しい塗装ネットワークを提案する。
ガウスピラミッドとラプラシアピラミッドに触発されたこのネットワークのコアは、GLEと呼ばれる特徴抽出モジュールである。
ベンチマーク実験により, 提案手法は, 多くの最先端の塗装アルゴリズムに対して, 性能の向上を図っている。
論文 参考訳(メタデータ) (2022-09-21T02:15:02Z) - High-Fidelity Image Inpainting with GAN Inversion [23.49170140410603]
本稿では,InvertFillと呼ばれる画像インペイントのための新しいGANインバージョンモデルを提案する。
エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。
忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されている。
論文 参考訳(メタデータ) (2022-08-25T03:39:24Z) - Learning Prior Feature and Attention Enhanced Image Inpainting [63.21231753407192]
本稿では,事前学習に基づくMasked AutoEncoder(MAE)を塗装モデルに組み込む。
マスク付き領域とマスキングされていない領域間の長距離依存性をより学習させるために,MAE の注意点を用いた手法を提案する。
論文 参考訳(メタデータ) (2022-08-03T04:32:53Z) - Fully Context-Aware Image Inpainting with a Learned Semantic Pyramid [102.24539566851809]
画像中の任意の欠落する領域に対して、合理的で現実的なコンテンツを復元することは、重要な課題である。
最近の画像インパインティングモデルは鮮明な視覚的詳細を生成するために大きな進歩を遂げているが、それでもテクスチャのぼやけや構造的歪みにつながる可能性がある。
本研究では,画像中の局所的欠落コンテンツの回復に大きく貢献する,多スケールなセマンティック・セマンティック・ピラミッド・ネットワーク(SPN)を提案する。
論文 参考訳(メタデータ) (2021-12-08T04:33:33Z) - Wavelength-based Attributed Deep Neural Network for Underwater Image
Restoration [9.378355457555319]
本稿では,色チャネルの移動範囲に基づいて,適切な受容場サイズ(コンテキスト)を付与することで,大幅な性能向上が期待できることを示す。
第2の新規性として、学習したマルチコンテキスト特徴を適応的に洗練するための注意的スキップ機構を組み込んだ。
提案するフレームワークはDeep WaveNetと呼ばれ、従来のピクセル単位で機能ベースのコスト関数を使って最適化されている。
論文 参考訳(メタデータ) (2021-06-15T06:47:51Z) - TFill: Image Completion via a Transformer-Based Architecture [69.62228639870114]
画像補完を無方向性シーケンス対シーケンス予測タスクとして扱うことを提案する。
トークン表現には,小かつ重複しないRFを持つ制限型CNNを用いる。
第2フェーズでは、可視領域と発生領域の外観整合性を向上させるために、新しい注意認識層(aal)を導入する。
論文 参考訳(メタデータ) (2021-04-02T01:42:01Z) - Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
アウトペイントには2つの課題があるため、あまり注意を払わない。
第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。
第2の課題は、生成した結果の高品質を維持する方法です。
論文 参考訳(メタデータ) (2019-12-29T16:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。