Fugu-MT 論文翻訳(概要): End-to-End Human Instance Matting

論文の概要: End-to-End Human Instance Matting

arxiv url: http://arxiv.org/abs/2403.01510v1
Date: Sun, 3 Mar 2024 13:17:10 GMT
ステータス: 処理完了
システム内更新日: 2024-03-06 21:07:54.423179
Title: End-to-End Human Instance Matting
Title（参考訳）: エンド・ツー・エンドのヒューマン・インスタンス・マッティング
Authors: Qinglin Liu, Shengping Zhang, Quanling Meng, Bineng Zhong, Peiqiang Liu, Hongxun Yao
Abstract要約: ヒューマン・インスタンス・マッティングは画像内の各人間のインスタンスのアルファ・マットを推定することを目的としている。本稿では,複数インスタンスの同時マッチングのための新しいエンド・ツー・エンドヒューマン・インスタンス・マッティング(E2E-HIM)フレームワークを提案する。 E2E-HIMは、既存のメソッドよりも50%低いエラーと5倍速いスピードで、人間のインスタンスマッチングに優れています。
参考スコア（独自算出の注目度）: 27.96723058460764
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Human instance matting aims to estimate an alpha matte for each human instance in an image, which is extremely challenging and has rarely been studied so far. Despite some efforts to use instance segmentation to generate a trimap for each instance and apply trimap-based matting methods, the resulting alpha mattes are often inaccurate due to inaccurate segmentation. In addition, this approach is computationally inefficient due to multiple executions of the matting method. To address these problems, this paper proposes a novel End-to-End Human Instance Matting (E2E-HIM) framework for simultaneous multiple instance matting in a more efficient manner. Specifically, a general perception network first extracts image features and decodes instance contexts into latent codes. Then, a united guidance network exploits spatial attention and semantics embedding to generate united semantics guidance, which encodes the locations and semantic correspondences of all instances. Finally, an instance matting network decodes the image features and united semantics guidance to predict all instance-level alpha mattes. In addition, we construct a large-scale human instance matting dataset (HIM-100K) comprising over 100,000 human images with instance alpha matte labels. Experiments on HIM-100K demonstrate the proposed E2E-HIM outperforms the existing methods on human instance matting with 50% lower errors and 5X faster speed (6 instances in a 640X640 image). Experiments on the PPM-100, RWP-636, and P3M datasets demonstrate that E2E-HIM also achieves competitive performance on traditional human matting.
Abstract（参考訳）: human instance mattingは、画像内の各人間のインスタンスのアルファマットを推定することを目的としている。インスタンスのセグメンテーションを使用して各インスタンスのトリマップを生成し、トリマップベースのマッティングメソッドを適用する努力にもかかわらず、結果のアルファ行列は不正確なセグメンテーションのために不正確な場合が多い。さらに、このアプローチは、マットングメソッドの複数の実行によって計算効率が低下する。これらの問題に対処するため,本研究では,複数インスタンスの同時マッチングをより効率的に行うための新しいエンド・ツー・エンドヒューマン・インスタンス・マッティング(E2E-HIM)フレームワークを提案する。具体的には、一般的な知覚ネットワークがまず画像の特徴を抽出し、インスタンスコンテキストを潜在コードにデコードする。そして、統合誘導ネットワークは、空間的注意とセマンティクスの埋め込みを利用して、すべてのインスタンスの位置とセマンティクスをエンコードする統合セマンティクスガイダンスを生成する。最後に、インスタンスマッチングネットワークは、イメージ機能と統合セマンティクスガイダンスをデコードして、すべてのインスタンスレベルのアルファ行列を予測する。さらに,人間の10万以上の画像とアルファマットラベルを含む大規模ヒトインスタンスマットングデータセット(him-100k)を構築した。 HIM-100Kの実験では、提案されたE2E-HIMは、50%低いエラーと5倍速いスピード(640X640画像の6つのインスタンス)で、既存の方法よりも優れていることを示した。 PPM-100、RWP-636、およびP3Mデータセットの実験は、E2E-HIMが従来のヒトの交尾において競争力を発揮することを示した。

関連論文リスト

MaGGIe: Masked Guided Gradual Human Instance Matting [71.22209465934651]
我々は新しいフレームワークMaGGIe, Masked Guided Gradual Human Instance Mattingを提案する。計算コスト、精度、一貫性を維持しながら、人間のインスタンスごとのアルファ行列を段階的に予測する。
論文参考訳（メタデータ） (2024-04-24T17:59:53Z)
Towards Label-Efficient Human Matting: A Simple Baseline for Weakly Semi-Supervised Trimap-Free Human Matting [50.99997483069828]
我々は、新しい学習パラダイム、弱半教師付きヒトマット(WSSHM)を導入する。 WSSHMは、少量の高価なマットラベルと大量の予算に優しいセグメンテーションラベルを使用して、アノテーションのコストを節約し、ドメインの一般化問題を解決する。また, 実時間モデルにも容易に適用でき, ブレークネック推論速度で競合精度を達成できる。
論文参考訳（メタデータ） (2024-04-01T04:53:06Z)
SGM-Net: Semantic Guided Matting Net [5.126872642595207]
我々は,前景の確率マップを生成し,それをMODNetに追加してセマンティックガイドマッチングネット(SGM-Net)を得るモジュールを提案する。 1つの画像しか持たない状態では、人間の交尾作業を実現することができる。
論文参考訳（メタデータ） (2022-08-16T01:58:25Z)
UniInst: Unique Representation for End-to-End Instance Segmentation [29.974973664317485]
ボックスフリーでNMSフリーなエンドツーエンドのインスタンスセグメンテーションフレームワークUniInstを提案する。具体的には、各インスタンスに1つのユニークな表現を動的に割り当てるインスタンス対応1対1の代入スキームを設計する。これらの技術により、最初のFCNベースのエンドツーエンドインスタンスセグメンテーションフレームワークであるUniInstは、競争力のあるパフォーマンスを実現する。
論文参考訳（メタデータ） (2022-05-25T10:40:26Z)
Human Instance Matting via Mutual Guidance and Multi-Instance Refinement [70.06185123355249]
我々は、Human instance matting (HIM)と呼ばれる新しいマットタスクを導入する。 HIMは、人間のインスタンスごとに正確なアルファマットを自動的に予測するために、関連するモデルを必要とする。予備結果は、一般的なインスタンス・マッティング(英語版)で示される。
論文参考訳（メタデータ） (2022-05-22T06:56:52Z)
Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From Learned Pairwise Affinity [59.1823948436411]
我々は、マスク提案のための新しいアプローチ、ジェネリックグループネットワーク(GGN)を提案する。我々のアプローチは、ピクセル親和性の局所測定とインスタンスレベルのマスク監視を組み合わせることで、データの多様性が許容するほど汎用的なモデルを設計したトレーニングレギュレータを生成する。
論文参考訳（メタデータ） (2022-04-12T22:37:49Z)
Sparse Instance Activation for Real-Time Instance Segmentation [72.23597664935684]
本稿では,リアルタイムインスタンスセグメンテーションのための概念的・効率的・完全畳み込み型フレームワークを提案する。 SparseInstは非常に高速な推論速度を持ち、COCOベンチマークで40 FPSと37.9 APを達成した。
論文参考訳（メタデータ） (2022-03-24T03:15:39Z)
Virtual Multi-Modality Self-Supervised Foreground Matting for Human-Object Interaction [18.14237514372724]
本稿では,仮想マルチモーダル・フォアグラウンド・マッティング(VMFM)手法を提案する。 VMFMメソッドはトリマップや既知のバックグラウンドなどの追加入力を必要としない。我々は,前景マッティングを自己監督型マルチモーダリティ問題として再構成する。
論文参考訳（メタデータ） (2021-10-07T09:03:01Z)
Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
画像マッチングにおける意味論と細部の役割について検討する。本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
論文参考訳（メタデータ） (2020-10-30T10:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。