論文の概要: Trimap-guided Feature Mining and Fusion Network for Natural Image Matting

• arxiv url: http://arxiv.org/abs/2112.00510v4
• Date: Wed, 4 Oct 2023 13:26:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 23:05:00.948093
• Title: Trimap-guided Feature Mining and Fusion Network for Natural Image Matting
• Title（参考訳）: 自然画像マッチングのためのトリマップ誘導機能マイニングと融合ネットワーク
• Authors: Weihao Jiang, Dongdong Yu, Zhaozhi Xie, Yaoyi Li, Zehuan Yuan, Hongtao Lu
• Abstract要約: トリマップガイダンスを利用するために、既存のほとんどのアプローチは、単にトリマップと画像を組み合わせてディープネットワークをフィードしたり、さらにトリマップガイダンスを抽出するために余分なネットワークを適用したりする。 本稿では,TMPモジュールとグローバルローカルコンテキスト認識融合(GLF)モジュールからなるトリマップ誘導型機能マイニング・融合ネットワークを提案する。 我々のGLFモジュールは、TMPモジュールが収集した興味深いオブジェクトのグローバルな意味情報を用いて、効率的なグローバルなコンテキスト認識機能融合を導く。
• 参考スコア（独自算出の注目度）: 42.322876445666274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Utilizing trimap guidance and fusing multi-level features are two important issues for trimap-based matting with pixel-level prediction. To utilize trimap guidance, most existing approaches simply concatenate trimaps and images together to feed a deep network or apply an extra network to extract more trimap guidance, which meets the conflict between efficiency and effectiveness. For emerging content-based feature fusion, most existing matting methods only focus on local features which lack the guidance of a global feature with strong semantic information related to the interesting object. In this paper, we propose a trimap-guided feature mining and fusion network consisting of our trimap-guided non-background multi-scale pooling (TMP) module and global-local context-aware fusion (GLF) modules. Considering that trimap provides strong semantic guidance, our TMP module focuses effective feature mining on interesting objects under the guidance of trimap without extra parameters. Furthermore, our GLF modules use global semantic information of interesting objects mined by our TMP module to guide an effective global-local context-aware multi-level feature fusion. In addition, we build a common interesting object matting (CIOM) dataset to advance high-quality image matting. Particularly, results on the Composition-1k and our CIOM show that our TMFNet achieves 13% and 25% relative improvement on SAD, respectively, against a strong baseline with fewer parameters and 14% fewer FLOPs. Experimental results on the Composition-1k test set, Alphamatting benchmark, and our CIOM test set demonstrate that our method outperforms state-of-the-art approaches. Our code and models are available at https://github.com/Serge-weihao/TMF-Matting.
• Abstract（参考訳）: 画素レベルの予測を伴うトリマップベースのマッティングにおいて,トリマップガイダンスの利用とマルチレベル特徴の融合が重要な問題である。 トリマップガイダンスを利用するために、既存のほとんどのアプローチは、単にトリマップとイメージを結合してディープネットワークをフィードしたり、さらにトリマップガイダンスを抽出するために余分なネットワークを適用し、効率と有効性の矛盾を満たす。 新たなコンテンツベースの機能融合では、ほとんどの既存のマッティングメソッドは、興味のあるオブジェクトに関連する強力な意味情報を持つグローバル機能のガイダンスが欠けているローカル機能のみに焦点を当てる。 本稿では,TMP(Trimap-guided non-background multi-scale pooling)モジュールとGLF(Global-local context-aware fusion)モジュールからなる,トリマップ誘導型機能マイニング・フュージョンネットワークを提案する。 トリマップが強力なセマンティックガイダンスを提供することを考慮し、我々のTMPモジュールは、余分なパラメータなしでトリマップのガイダンスの下で興味深いオブジェクトを効果的に特徴マイニングする。 さらに,我々のglfモジュールは,tmpモジュールによってマイニングされた興味深いオブジェクトのグローバルセマンティクス情報を用いて,効果的なグローバルローカルコンテキストアウェアマルチレベル機能融合を導出する。 さらに、高品質なイメージマット化を進めるために、共通の興味深いオブジェクトマットング(ciom)データセットを構築します。 特に、コンポジション1kとCIOMの結果は、パラメータが少なく、FLOPが14%少ない強いベースラインに対して、TMFNetがそれぞれ13%と25%の改善を実現していることを示している。 composition-1kテストセット、Alphamattingベンチマーク、CIOMテストセットの実験結果は、我々のメソッドが最先端のアプローチよりも優れていることを示している。 私たちのコードとモデルはhttps://github.com/serge-weihao/tmf-mattingで利用可能です。

関連論文リスト

• Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation [66.15246197473897]
  多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。 画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-04T01:03:58Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• RGB-T Semantic Segmentation with Location, Activation, and Sharpening [27.381263494613556]
  本稿では,RGB-Tセマンティックセマンティックセグメンテーションのための新しい機能融合ネットワークemphLASNetを提案する。 2つの公開データセットの実験結果から、LASNetが関連する最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-26T07:42:34Z)
• Deep Co-supervision and Attention Fusion Strategy for Automatic COVID-19 Lung Infection Segmentation on CT Images [1.898617934078969]
  本稿では,CT画像上でのCOVID-19感染に対する新たなセグメンテーション手法を提案する。 エッジとセマンティクスの特徴をネットワークで学習する上での深い協調管理手法を提案する。 提案手法の有効性は, 新型コロナウイルスの4つのCTデータセットで実証された。
  論文  参考訳（メタデータ） (2021-12-20T07:32:39Z)
• Deep Image Matting with Flexible Guidance Input [16.651948566049846]
  本稿では,ユーザヒントとしてFlexible Guidance Input を用いるマッチング手法を提案する。 提案手法は,既存のトリマップベースおよびトリマップフリー手法と比較して,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-21T04:59:27Z)
• M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object Detection with Transformers [78.48081972698888]
  M3DeTRは、マルチスケールのフィーチャーピラミッドに基づいて、異なるポイントクラウド表現と異なる機能スケールを組み合わせたものです。 M3DeTRは、複数のポイントクラウド表現、機能スケール、およびトランスを使用してポイントクラウド間の相互関係を同時にモデル化する最初のアプローチです。
  論文  参考訳（メタデータ） (2021-04-24T06:48:23Z)
• Salient Image Matting [0.0]
  本研究では,画像中の最も鮮やかな前景の画素あたりの不透明度値を推定するために,Salient Image Mattingという画像マッチングフレームワークを提案する。 我々のフレームワークは、広範囲のセマンティクスと健全なオブジェクトタイプを学ぶという課題を同時に扱う。 私たちのフレームワークは、他の自動メソッドと比較して、わずかな高価なマットデータのみを必要とします。
  論文  参考訳（メタデータ） (2021-03-23T06:22:33Z)
• PointFlow: Flowing Semantics Through Points for Aerial Image Segmentation [96.76882806139251]
  本論文では,FPN(Feature Pyramid Network)フレームワークに基づく点親和性伝播モジュールであるPointFlowを提案する。 密接な親和性学習ではなく、隣接する特徴間の選択された点にスパース親和性マップを生成する。 3つの異なる空中セグメンテーションデータセットの実験結果から,提案手法は最先端の汎用セグメンテーション法よりも効率的かつ効率的であることが示唆された。
  論文  参考訳（メタデータ） (2021-03-11T09:42:32Z)
• Cross-layer Feature Pyramid Network for Salient Object Detection [102.20031050972429]
  本稿では,有能な物体検出における進行的融合を改善するために,新しいクロス層特徴ピラミッドネットワークを提案する。 レイヤごとの分散機能は、他のすべてのレイヤからセマンティクスと健全な詳細の両方を同時に所有し、重要な情報の損失を減らします。
  論文  参考訳（メタデータ） (2020-02-25T14:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。