論文の概要: End-to-End Human Instance Matting
- arxiv url: http://arxiv.org/abs/2403.01510v1
- Date: Sun, 3 Mar 2024 13:17:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 21:07:54.423179
- Title: End-to-End Human Instance Matting
- Title(参考訳): エンド・ツー・エンドのヒューマン・インスタンス・マッティング
- Authors: Qinglin Liu, Shengping Zhang, Quanling Meng, Bineng Zhong, Peiqiang
Liu, Hongxun Yao
- Abstract要約: ヒューマン・インスタンス・マッティングは画像内の各人間のインスタンスのアルファ・マットを推定することを目的としている。
本稿では,複数インスタンスの同時マッチングのための新しいエンド・ツー・エンドヒューマン・インスタンス・マッティング(E2E-HIM)フレームワークを提案する。
E2E-HIMは、既存のメソッドよりも50%低いエラーと5倍速いスピードで、人間のインスタンスマッチングに優れています。
- 参考スコア(独自算出の注目度): 27.96723058460764
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Human instance matting aims to estimate an alpha matte for each human
instance in an image, which is extremely challenging and has rarely been
studied so far. Despite some efforts to use instance segmentation to generate a
trimap for each instance and apply trimap-based matting methods, the resulting
alpha mattes are often inaccurate due to inaccurate segmentation. In addition,
this approach is computationally inefficient due to multiple executions of the
matting method. To address these problems, this paper proposes a novel
End-to-End Human Instance Matting (E2E-HIM) framework for simultaneous multiple
instance matting in a more efficient manner. Specifically, a general perception
network first extracts image features and decodes instance contexts into latent
codes. Then, a united guidance network exploits spatial attention and semantics
embedding to generate united semantics guidance, which encodes the locations
and semantic correspondences of all instances. Finally, an instance matting
network decodes the image features and united semantics guidance to predict all
instance-level alpha mattes. In addition, we construct a large-scale human
instance matting dataset (HIM-100K) comprising over 100,000 human images with
instance alpha matte labels. Experiments on HIM-100K demonstrate the proposed
E2E-HIM outperforms the existing methods on human instance matting with 50%
lower errors and 5X faster speed (6 instances in a 640X640 image). Experiments
on the PPM-100, RWP-636, and P3M datasets demonstrate that E2E-HIM also
achieves competitive performance on traditional human matting.
- Abstract(参考訳): human instance mattingは、画像内の各人間のインスタンスのアルファマットを推定することを目的としている。
インスタンスのセグメンテーションを使用して各インスタンスのトリマップを生成し、トリマップベースのマッティングメソッドを適用する努力にもかかわらず、結果のアルファ行列は不正確なセグメンテーションのために不正確な場合が多い。
さらに、このアプローチは、マットングメソッドの複数の実行によって計算効率が低下する。
これらの問題に対処するため,本研究では,複数インスタンスの同時マッチングをより効率的に行うための新しいエンド・ツー・エンドヒューマン・インスタンス・マッティング(E2E-HIM)フレームワークを提案する。
具体的には、一般的な知覚ネットワークがまず画像の特徴を抽出し、インスタンスコンテキストを潜在コードにデコードする。
そして、統合誘導ネットワークは、空間的注意とセマンティクスの埋め込みを利用して、すべてのインスタンスの位置とセマンティクスをエンコードする統合セマンティクスガイダンスを生成する。
最後に、インスタンスマッチングネットワークは、イメージ機能と統合セマンティクスガイダンスをデコードして、すべてのインスタンスレベルのアルファ行列を予測する。
さらに,人間の10万以上の画像とアルファマットラベルを含む大規模ヒトインスタンスマットングデータセット(him-100k)を構築した。
HIM-100Kの実験では、提案されたE2E-HIMは、50%低いエラーと5倍速いスピード(640X640画像の6つのインスタンス)で、既存の方法よりも優れていることを示した。
PPM-100、RWP-636、およびP3Mデータセットの実験は、E2E-HIMが従来のヒトの交尾において競争力を発揮することを示した。
関連論文リスト
- Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。
本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。
提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
論文 参考訳(メタデータ) (2023-04-04T17:59:04Z) - Robust Human Matting via Semantic Guidance [35.374012964806745]
我々はSemantic Guided Human Matting(SGHM)という,高速かつ高精度なヒューマン・マッチング・フレームワークを開発した。
セグメンテーションネットワーク上に構築され、限界計算コストのみの軽量なマッティングモジュールを導入している。
実験の結果,200個のマッチング画像でトレーニングした結果,本手法は実世界のデータセットによく適応できることがわかった。
論文 参考訳(メタデータ) (2022-10-11T07:25:33Z) - SGM-Net: Semantic Guided Matting Net [5.126872642595207]
我々は,前景の確率マップを生成し,それをMODNetに追加してセマンティックガイドマッチングネット(SGM-Net)を得るモジュールを提案する。
1つの画像しか持たない状態では、人間の交尾作業を実現することができる。
論文 参考訳(メタデータ) (2022-08-16T01:58:25Z) - UniInst: Unique Representation for End-to-End Instance Segmentation [29.974973664317485]
ボックスフリーでNMSフリーなエンドツーエンドのインスタンスセグメンテーションフレームワークUniInstを提案する。
具体的には、各インスタンスに1つのユニークな表現を動的に割り当てるインスタンス対応1対1の代入スキームを設計する。
これらの技術により、最初のFCNベースのエンドツーエンドインスタンスセグメンテーションフレームワークであるUniInstは、競争力のあるパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-05-25T10:40:26Z) - Human Instance Matting via Mutual Guidance and Multi-Instance Refinement [70.06185123355249]
我々は、Human instance matting (HIM)と呼ばれる新しいマットタスクを導入する。
HIMは、人間のインスタンスごとに正確なアルファマットを自動的に予測するために、関連するモデルを必要とする。
予備結果は、一般的なインスタンス・マッティング(英語版)で示される。
論文 参考訳(メタデータ) (2022-05-22T06:56:52Z) - Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From
Learned Pairwise Affinity [59.1823948436411]
我々は、マスク提案のための新しいアプローチ、ジェネリックグループネットワーク(GGN)を提案する。
我々のアプローチは、ピクセル親和性の局所測定とインスタンスレベルのマスク監視を組み合わせることで、データの多様性が許容するほど汎用的なモデルを設計したトレーニングレギュレータを生成する。
論文 参考訳(メタデータ) (2022-04-12T22:37:49Z) - Sparse Instance Activation for Real-Time Instance Segmentation [72.23597664935684]
本稿では,リアルタイムインスタンスセグメンテーションのための概念的・効率的・完全畳み込み型フレームワークを提案する。
SparseInstは非常に高速な推論速度を持ち、COCOベンチマークで40 FPSと37.9 APを達成した。
論文 参考訳(メタデータ) (2022-03-24T03:15:39Z) - Virtual Multi-Modality Self-Supervised Foreground Matting for
Human-Object Interaction [18.14237514372724]
本稿では,仮想マルチモーダル・フォアグラウンド・マッティング(VMFM)手法を提案する。
VMFMメソッドはトリマップや既知のバックグラウンドなどの追加入力を必要としない。
我々は,前景マッティングを自己監督型マルチモーダリティ問題として再構成する。
論文 参考訳(メタデータ) (2021-10-07T09:03:01Z) - SOLO: A Simple Framework for Instance Segmentation [84.00519148562606]
インスタンスカテゴリ"は、インスタンスの場所に応じて、インスタンス内の各ピクセルにカテゴリを割り当てる。
SOLO"は、強力なパフォーマンスを備えたインスタンスセグメンテーションのための、シンプルで、直接的で、高速なフレームワークです。
提案手法は, 高速化と精度の両面から, 実例分割の最先端結果を実現する。
論文 参考訳(メタデータ) (2021-06-30T09:56:54Z) - Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
画像マッチングにおける意味論と細部の役割について検討する。
本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。
総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
論文 参考訳(メタデータ) (2020-10-30T10:57:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。