論文の概要: Rethinking Context Aggregation in Natural Image Matting
- arxiv url: http://arxiv.org/abs/2304.01171v1
- Date: Mon, 3 Apr 2023 17:40:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 14:15:12.893293
- Title: Rethinking Context Aggregation in Natural Image Matting
- Title(参考訳): 自然画像マッティングにおけるコンテキストアグリゲーションの再考
- Authors: Qinglin Liu, Shengping Zhang, Quanling Meng, Ru Li, Bineng Zhong,
Liqiang Nie
- Abstract要約: 我々は,コンテキストアグリゲーションモジュールが実際に期待したほど効果的ではないことを示す実験を行う。
また,大規模な画像パッチから学習すると,より広い受容領域を持つ基本エンコーダ・デコーダネットワークがコンテキストを効果的に集約し,より優れた性能を実現することを実証した。
本稿では,AEMatter という名前のシンプルなマッチングネットワークを提案する。このネットワークは,エンコーダに外見に富んだ軸方向の学習ブロックを組み込んで,ハイブリッドトランスフォーマーデコーダを採用することで,受容界を拡大する。
- 参考スコア(独自算出の注目度): 69.9111062345292
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: For natural image matting, context information plays a crucial role in
estimating alpha mattes especially when it is challenging to distinguish
foreground from its background. Exiting deep learning-based methods exploit
specifically designed context aggregation modules to refine encoder features.
However, the effectiveness of these modules has not been thoroughly explored.
In this paper, we conduct extensive experiments to reveal that the context
aggregation modules are actually not as effective as expected. We also
demonstrate that when learned on large image patches, basic encoder-decoder
networks with a larger receptive field can effectively aggregate context to
achieve better performance.Upon the above findings, we propose a simple yet
effective matting network, named AEMatter, which enlarges the receptive field
by incorporating an appearance-enhanced axis-wise learning block into the
encoder and adopting a hybrid-transformer decoder. Experimental results on four
datasets demonstrate that our AEMatter significantly outperforms
state-of-the-art matting methods (e.g., on the Adobe Composition-1K dataset,
\textbf{25\%} and \textbf{40\%} reduction in terms of SAD and MSE,
respectively, compared against MatteFormer). The code and model are available
at \url{https://github.com/QLYoo/AEMatter}.
- Abstract(参考訳): 自然な画像マッチングでは、背景と背景を区別することが困難である場合、文脈情報はアルファマットの推定において重要な役割を果たす。
ディープラーニングベースのメソッドの出力は、特に設計されたコンテキストアグリゲーションモジュールを利用してエンコーダ機能を洗練する。
しかし、これらのモジュールの有効性は十分に調査されていない。
本稿では,コンテキストアグリゲーションモジュールが期待したほど効果的ではないことを示すために,広範な実験を行う。
また,大きなイメージパッチで学習すると,より大きな受容領域を持つ基本エンコーダ・デコーダネットワークは,コンテキストを効果的に集約し,より優れた性能を実現することができることを実証する。本報告では,エンコーダに外観強調軸方向学習ブロックを組み込んで,ハイブリッドトランスフォーマデコーダを採用することで,受容領域を拡大する簡易かつ効果的なマットリングネットワークaematterを提案する。
4つのデータセットに対する実験結果から、我々のAEMatterは最先端のマッティング手法(例えばAdobe Composition-1Kデータセットでは、SADとMSEのそれぞれで、それぞれ \textbf{25\%} と \textbf{40\%} の削減)を大幅に上回っていることが示されています。
コードとモデルは \url{https://github.com/qlyoo/aematter} で利用可能である。
関連論文リスト
- DiffusionMat: Alpha Matting as Sequential Refinement Learning [87.76572845943929]
DiffusionMatは、粗いアルファマットから洗練されたアルファマットへの移行に拡散モデルを利用する画像マッチングフレームワークである。
補正モジュールは、各復調ステップで出力を調整し、最終的な結果が入力画像の構造と一致していることを保証する。
その結果,DiffusionMatは既存の手法よりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2023-11-22T17:16:44Z) - Embracing Compact and Robust Architectures for Multi-Exposure Image
Fusion [50.598654017728045]
本稿では,堅牢なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを含む探索型パラダイムを提案する。
シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。
我々は、様々な競争方式と比較して最先端の性能を実現し、一般的なシナリオと不整合シナリオに対するPSNRの4.02%と29.34%の改善を実現した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。
我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。
提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
論文 参考訳(メタデータ) (2022-12-06T14:32:55Z) - Wider and Higher: Intensive Integration and Global Foreground Perception
for Image Matting [44.51635913732913]
本稿では,近年の深層学習によるマッティング研究をレビューし,我々の画像マッティングに対するより広範なモチベーションと高いモチベーションについて考察する。
画像マッチングは基本的にピクセル単位での回帰であり、理想的な状況は入力画像から最大不透明度を知覚することである。
Intensive Integration and Global Foreground Perception Network (I2GFP) を提案する。
論文 参考訳(メタデータ) (2022-10-13T11:34:46Z) - Boosting Robustness of Image Matting with Context Assembling and Strong
Data Augmentation [83.31087402305306]
トリマップへのロバストさと、異なる領域の画像への一般化はまだ未定である。
マルチレベルコンテキストアッセンブルと強力なデータ拡張により高ロバスト性(RMat)を実現する画像マッチング手法を提案する。
論文 参考訳(メタデータ) (2022-01-18T11:45:17Z) - Deep Video Matting via Spatio-Temporal Alignment and Aggregation [63.6870051909004]
新たな集計機能モジュール(STFAM)を用いた深層学習型ビデオマッチングフレームワークを提案する。
フレーム毎のトリマップアノテーションを排除するため、軽量なインタラクティブなトリマップ伝搬ネットワークも導入されている。
私達のフレームワークは従来のビデオ マットおよび深いイメージのマットの方法よりかなり優秀です。
論文 参考訳(メタデータ) (2021-04-22T17:42:08Z) - High-Resolution Deep Image Matting [39.72708676319803]
HDMattは、高解像度入力のための最初のディープラーニングベースの画像マッチングアプローチである。
提案手法は,Adobe Image Matting と AlphaMatting のベンチマーク上で,最先端の性能を新たに設定する。
論文 参考訳(メタデータ) (2020-09-14T17:53:15Z) - $F$, $B$, Alpha Matting [0.0]
我々は,前景や背景の色を予測するために,アルファ・マッティング・ネットワークの低コストな修正を提案する。
提案手法は, アルファマットと合成色質のためのAdobe composition-1kデータセット上で, アートパフォーマンスの状態を達成している。
論文 参考訳(メタデータ) (2020-03-17T13:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。