論文の概要: Dual-Context Aggregation for Universal Image Matting
- arxiv url: http://arxiv.org/abs/2402.18109v1
- Date: Wed, 28 Feb 2024 06:56:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 16:06:13.196426
- Title: Dual-Context Aggregation for Universal Image Matting
- Title(参考訳): ユニバーサル画像マッチングのためのデュアルコンテキストアグリゲーション
- Authors: Qinglin Liu, Xiaoqian Lv, Wei Yu, Changyong Guo, Shengping Zhang
- Abstract要約: 我々は、Dual-Context Aggregation Matting (DCAM)という、シンプルで普遍的なマッチングフレームワークを提案する。
特に、DCAMは、まずセマンティックバックボーンネットワークを採用し、入力画像とガイダンスから低レベル特徴とコンテキスト特徴を抽出する。
グローバルな輪郭セグメンテーションと地域境界の洗練を両立させることにより、DCAMは様々な種類のガイダンスやオブジェクトに対して堅牢性を示す。
- 参考スコア(独自算出の注目度): 16.59886660634162
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Natural image matting aims to estimate the alpha matte of the foreground from
a given image. Various approaches have been explored to address this problem,
such as interactive matting methods that use guidance such as click or trimap,
and automatic matting methods tailored to specific objects. However, existing
matting methods are designed for specific objects or guidance, neglecting the
common requirement of aggregating global and local contexts in image matting.
As a result, these methods often encounter challenges in accurately identifying
the foreground and generating precise boundaries, which limits their
effectiveness in unforeseen scenarios. In this paper, we propose a simple and
universal matting framework, named Dual-Context Aggregation Matting (DCAM),
which enables robust image matting with arbitrary guidance or without guidance.
Specifically, DCAM first adopts a semantic backbone network to extract
low-level features and context features from the input image and guidance.
Then, we introduce a dual-context aggregation network that incorporates global
object aggregators and local appearance aggregators to iteratively refine the
extracted context features. By performing both global contour segmentation and
local boundary refinement, DCAM exhibits robustness to diverse types of
guidance and objects. Finally, we adopt a matting decoder network to fuse the
low-level features and the refined context features for alpha matte estimation.
Experimental results on five matting datasets demonstrate that the proposed
DCAM outperforms state-of-the-art matting methods in both automatic matting and
interactive matting tasks, which highlights the strong universality and high
performance of DCAM. The source code is available at
\url{https://github.com/Windaway/DCAM}.
- Abstract(参考訳): 自然な画像マッチングは、ある画像から前景のアルファマットを推定することを目的としている。
クリックやトリマップなどのガイダンスを用いたインタラクティブなマッティング手法や,特定のオブジェクトに適した自動マッティング手法など,この問題に対処するためのさまざまなアプローチが検討されている。
しかし、既存のマッティングメソッドは特定のオブジェクトやガイダンス用に設計されており、画像マッティングにおいてグローバルおよびローカルコンテキストを集約するという共通の要件を無視している。
その結果、これらの手法は、前景を正確に識別し、正確な境界を生成し、予期せぬシナリオにおける有効性を制限している。
本稿では,dcam (d-context aggregation matting) と呼ばれる,任意の誘導を伴わないロバストなイメージマットリングを実現する,単純で普遍的なマットングフレームワークを提案する。
特に、DCAMは、まずセマンティックバックボーンネットワークを採用し、入力画像とガイダンスから低レベル特徴とコンテキスト特徴を抽出する。
次に,グローバルオブジェクトアグリゲータとローカルアグリゲータを統合し,抽出されたコンテキスト特徴を反復的に洗練するデュアルコンテキストアグリゲータネットワークを提案する。
グローバルな輪郭セグメンテーションと地域境界の洗練を両立させることにより、DCAMは様々な種類のガイダンスやオブジェクトに対して堅牢性を示す。
最後に,アルファマット推定のための低レベル機能と洗練されたコンテキスト機能を融合するために,mattingデコーダネットワークを採用する。
5つのマッティングデータセットの実験結果から,提案したDCAMは,DCAMの強い普遍性と高い性能を示す自動マッティングタスクと対話的マッティングタスクの両方において,最先端のマッティング手法よりも優れていることが示された。
ソースコードは \url{https://github.com/Windaway/DCAM} で入手できる。
関連論文リスト
- N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields [112.02885337510716]
Nested Neural Feature Fields (N2F2)は、階層的な監視を用いて単一機能フィールドを学習する新しいアプローチである。
画像空間の任意のスケールで意味的に意味のある画素群を提供するために、2次元クラス非依存セグメンテーションモデルを利用する。
オープンな3次元セグメンテーションやローカライゼーションといったタスクにおいて,最先端のフィールド蒸留法よりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-03-16T18:50:44Z) - Synchronizing Vision and Language: Bidirectional Token-Masking
AutoEncoder for Referring Image Segmentation [26.262887028563163]
Referring Image (RIS)は、自然言語で表現されたターゲットオブジェクトをピクセルレベルのシーン内でセグメントすることを目的としている。
マスク付きオートエンコーダ(MAE)に触発された新しい双方向トークンマスキングオートエンコーダ(BTMAE)を提案する。
BTMAEは、画像と言語の両方に欠けている機能をトークンレベルで再構築することで、画像から言語、言語へのイメージのコンテキストを学習する。
論文 参考訳(メタデータ) (2023-11-29T07:33:38Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-24T03:50:37Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳(メタデータ) (2023-05-17T14:30:11Z) - Deep Image Matting: A Comprehensive Survey [85.77905619102802]
本稿では,ディープラーニング時代における画像マッチングの最近の進歩を概観する。
本稿では,補助的な入力ベースの画像マッチングと,自動的な画像マッチングという,2つの基本的なサブタスクに焦点を当てる。
画像マッチングの関連応用について論じ,今後の研究への課題と可能性を明らかにする。
論文 参考訳(メタデータ) (2023-04-10T15:48:55Z) - Towards Effective Image Manipulation Detection with Proposal Contrastive
Learning [61.5469708038966]
本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。
我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。
我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
論文 参考訳(メタデータ) (2022-10-16T13:30:13Z) - Exploring the Interactive Guidance for Unified and Effective Image
Matting [16.933897631478146]
そこで我々はUIMという名前のUnified Interactive Image Matting法を提案する。
具体的には、UIMは複数のタイプのユーザインタラクションを活用して、複数のマッチングターゲットの曖昧さを回避する。
UIMは,コンポジション1Kテストセットと合成統合データセットを用いて,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-05-17T13:20:30Z) - Situational Perception Guided Image Matting [16.1897179939677]
本研究では,マットアノテーションの主観バイアスを緩和する状況認識ガイド画像マッチング(SPG-IM)手法を提案する。
SPG-IMは、オブジェクト間およびオブジェクト間サリエンシをよりよく関連付けることができ、画像マッチングの主観的性質を補うことができる。
論文 参考訳(メタデータ) (2022-04-20T07:35:51Z) - Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
画像マッチングにおける意味論と細部の役割について検討する。
本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。
総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
論文 参考訳(メタデータ) (2020-10-30T10:57:13Z) - AlphaNet: An Attention Guided Deep Network for Automatic Image Matting [0.0]
本研究では,画像マッチングのためのエンドツーエンドソリューション,すなわち自然画像から前景オブジェクトを高精度に抽出する手法を提案する。
本稿では,セマンティックセグメンテーションと深層画像マッチングプロセスをひとつのネットワークに同化して意味行列を生成する手法を提案する。
また、高品質なアルファマットを用いたファッションeコマース型データセットを構築し、画像マッチングのトレーニングと評価を容易にする。
論文 参考訳(メタデータ) (2020-03-07T17:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。