論文の概要: Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness
- arxiv url: http://arxiv.org/abs/2104.13743v1
- Date: Wed, 28 Apr 2021 13:17:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-29 12:46:20.667267
- Title: Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness
- Title（参考訳）: マスク認識によるエンド・ツー・エンドキャッケードリファインメントによるイメージインペインティング
- Authors: Manyu Zhu, Dongliang He, Xin Li, Chao Li, Fu Li, Xiao Liu, Errui Ding
and Zhaoxiang Zhang
- Abstract要約: 任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。
私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
- 参考スコア（独自算出の注目度）: 66.55719330810547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inpainting arbitrary missing regions is challenging because learning valid
features for various masked regions is nontrivial. Though U-shaped
encoder-decoder frameworks have been witnessed to be successful, most of them
share a common drawback of mask unawareness in feature extraction because all
convolution windows (or regions), including those with various shapes of
missing pixels, are treated equally and filtered with fixed learned kernels. To
this end, we propose our novel mask-aware inpainting solution. Firstly, a
Mask-Aware Dynamic Filtering (MADF) module is designed to effectively learn
multi-scale features for missing regions in the encoding phase. Specifically,
filters for each convolution window are generated from features of the
corresponding region of the mask. The second fold of mask awareness is achieved
by adopting Point-wise Normalization (PN) in our decoding phase, considering
that statistical natures of features at masked points differentiate from those
of unmasked points. The proposed PN can tackle this issue by dynamically
assigning point-wise scaling factor and bias. Lastly, our model is designed to
be an end-to-end cascaded refinement one. Supervision information such as
reconstruction loss, perceptual loss and total variation loss is incrementally
leveraged to boost the inpainting results from coarse to fine. Effectiveness of
the proposed framework is validated both quantitatively and qualitatively via
extensive experiments on three public datasets including Places2, CelebA and
Paris StreetView.
- Abstract（参考訳）: 任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
U字型エンコーダ・デコーダのフレームワークが成功しているのを目撃されているが、ほとんどの場合、コンボリューションウィンドウ(または領域)はすべて、欠落したピクセルの様々な形状を含む)が等しく扱われ、固定学習されたカーネルでフィルタリングされるため、特徴抽出においてマスク不認識の共通の欠点を共有している。
そこで本研究では,マスク対応塗装法を提案する。
第一に、Mask-Aware Dynamic Filtering (MADF)モジュールは、符号化フェーズにおいて欠落する領域のマルチスケール機能を効果的に学習するように設計されている。
具体的には、マスクの対応する領域の特徴から、畳み込みウィンドウ毎にフィルタを生成する。
マスク認識の第2段階は、マスク付き点における特徴の統計的性質が非マスキング点と異なることを考慮して、この復号フェーズにポイントワイド正規化(PN)を採用することで達成される。
提案するpnは,ポイントワイズスケーリング係数とバイアスを動的に割り当てることでこの問題に対処できる。
最後に、このモデルはエンドツーエンドのカスケード・リファインメント・モデルとして設計されています。
レコンストラクション損失、知覚損失、総変動損失などの監督情報を漸進的に活用し、塗装結果の粗さから細度への向上を図る。
提案フレームワークの有効性は,Places2,CelebA,Paris StreetViewの3つの公開データセットに対する広範な実験を通じて,定量的かつ定性的に検証されている。
関連論文リスト
- ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。
データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。
ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
論文 参考訳（メタデータ） (2024-07-17T22:04:00Z) - Mask2Anomaly: Mask Transformer for Universal Open-set Segmentation [29.43462426812185]
本稿では,画素単位の分類からマスク分類へのシフトによるパラダイム変化を提案する。
マスクをベースとしたMask2Anomalyは,マスク分類アーキテクチャの統合の可能性を示した。
総合的質的・質的評価により, Mask2Anomaly は新たな最先端結果が得られることを示す。
論文 参考訳（メタデータ） (2023-09-08T20:07:18Z) - Unmasking Anomalies in Road-Scene Segmentation [18.253109627901566]
異常セグメンテーションはアプリケーションを駆動するための重要なタスクである。
本稿では,画素単位の分類からマスク分類へのシフトによるパラダイム変化を提案する。
Mask2Anomalyはマスク分類アーキテクチャに異常検出手法を統合する可能性を示した。
論文 参考訳（メタデータ） (2023-07-25T08:23:10Z) - Layered Depth Refinement with Mask Guidance [61.10654666344419]
汎用マスクを用いてSIDEモデルの深度予測を洗練させるマスク誘導深度改善の新しい問題を定式化する。
本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。
本手法は,内面境界領域と外面境界領域の深度を正確に補正し,異なる種類のマスクや初期深度予測に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-06-07T06:42:44Z) - What You See is What You Classify: Black Box Attributions [61.998683569022006]
我々は、トレーニング済みのブラックボックス分類器であるExpplanandumの属性を予測するために、ディープネットワークであるExplainerを訓練する。
既存のほとんどのアプローチとは異なり、我々の手法はクラス固有のマスクを直接生成することができる。
我々の属性は、視覚的および定量的に確立された方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-05-23T12:30:04Z) - FT-TDR: Frequency-guided Transformer and Top-Down Refinement Network for
Blind Face Inpainting [77.78305705925376]
ブラインド・フェイス・インペインティング(ブラインド・フェイス・インペインティング)とは、顔画像の劣化した領域を明確に示さずに、視覚コンテンツを再構築する作業である。
本稿では、これらの課題に対処するために、周波数誘導変換器とTop-Down Refinement Network(FT-TDR)と呼ばれる新しい2段階ブラインドフェイス塗装法を提案する。
論文 参考訳（メタデータ） (2021-08-10T03:12:01Z) - Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps [85.67745220834718]
不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。
当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。
広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
論文 参考訳（メタデータ） (2021-04-25T07:25:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。