論文の概要: One-Trimap Video Matting
- arxiv url: http://arxiv.org/abs/2207.13353v1
- Date: Wed, 27 Jul 2022 08:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-28 13:37:12.756656
- Title: One-Trimap Video Matting
- Title（参考訳）: one-trimapビデオマットリング
- Authors: Hongje Seong and Seoung Wug Oh and Brian Price and Euntai Kim and
Joon-Young Lee
- Abstract要約: 本稿では,1つのユーザアノテートトリマップのみを用いて,ビデオマッチングを頑健に行うOne-Trimap Video Matting Network (OTVM)を提案する。
OTVMの鍵は、トリマップの伝搬とアルファ予測の合同モデリングである。
われわれのモデルは、Deep Video MattingとVideoMatting108という2つの最新のビデオマッチングベンチマークで評価した。
- 参考スコア（独自算出の注目度）: 47.95947397358026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies made great progress in video matting by extending the success
of trimap-based image matting to the video domain. In this paper, we push this
task toward a more practical setting and propose One-Trimap Video Matting
network (OTVM) that performs video matting robustly using only one
user-annotated trimap. A key of OTVM is the joint modeling of trimap
propagation and alpha prediction. Starting from baseline trimap propagation and
alpha prediction networks, our OTVM combines the two networks with an
alpha-trimap refinement module to facilitate information flow. We also present
an end-to-end training strategy to take full advantage of the joint model. Our
joint modeling greatly improves the temporal stability of trimap propagation
compared to the previous decoupled methods. We evaluate our model on two latest
video matting benchmarks, Deep Video Matting and VideoMatting108, and
outperform state-of-the-art by significant margins (MSE improvements of 56.4%
and 56.7%, respectively). The source code and model are available online:
https://github.com/Hongje/OTVM.
- Abstract（参考訳）: 近年の研究では、トリマップベースの画像マッチングの成功をビデオ領域に広げることで、ビデオマッチングに大きな進歩をもたらした。
本稿では,この課題をより実践的な設定に向け,一つのユーザアノテートトリマップのみを用いてビデオマッチングを堅牢に行う1-Trimap Video Matting Network (OTVM)を提案する。
OTVMの鍵は、トリマップの伝搬とアルファ予測の合同モデリングである。
私たちのotvmは、ベースラインのトリマップ伝搬とアルファ予測ネットワークから始まり、2つのネットワークをアルファトリマップリファインメントモジュールと組み合わせ、情報フローを容易にします。
ジョイントモデルを完全に活用するためのエンドツーエンドのトレーニング戦略も提示する。
この共同モデリングは, 従来の分離法と比較して, トリマップ伝搬の時間安定性を大幅に向上させる。
我々は,最新の2つのビデオマットングベンチマーク(deep video mattingとvideomatting108)を用いて,そのモデルを評価した(mseは56.4%,mseは56.7%)。
ソースコードとモデルは、https://github.com/hongje/otvm.com/で入手できる。
関連論文リスト
- SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。
時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。
10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
論文 参考訳（メタデータ） (2024-07-22T08:04:09Z) - Matte Anything: Interactive Natural Image Matting with Segment Anything
Models [35.105593013654]
Matte Anything (MatAny) は、高品質のアルファマットを生成することができるインタラクティブな自然な画像マッチングモデルである。
我々は、視覚基盤モデルを活用し、自然な画像マッチングの性能を向上させる。
MatAny は以前の画像マッチング法と比較して MSE を58.3%改善し、SAD を40.6%改善した。
論文 参考訳（メタデータ） (2023-06-07T03:31:39Z) - Adaptive Human Matting for Dynamic Videos [62.026375402656754]
Adaptive Matting for Dynamic VideosはAdaMと呼ばれ、背景と背景を同時に区別するフレームワークである。
この目的を達成するために、2つの相互接続ネットワーク設計が採用されている。
提案手法が最近導入したデータセットをベンチマークし,検討した結果,行列が新たなクラス内でのベスト・イン・クラス・ジェネリザビリティを実現することがわかった。
論文 参考訳（メタデータ） (2023-04-12T17:55:59Z) - RangeViT: Towards Vision Transformers for 3D Semantic Segmentation in
Autonomous Driving [80.14669385741202]
視覚変換器(ViT)は多くの画像ベースのベンチマークで最先端の結果を得た。
ViTはトレーニングが難しいことで知られており、強力な表現を学ぶために大量のトレーニングデータを必要とする。
提案手法はRangeViTと呼ばれ,nuScenes や Semantic KITTI において既存のプロジェクションベースの手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-01-24T18:50:48Z) - Attention-guided Temporal Coherent Video Object Matting [78.82835351423383]
本稿では,時間的コヒーレントなマッチング結果が得られる深層学習に基づくオブジェクトマッチング手法を提案する。
中心となるコンポーネントは、画像マッチングネットワークの強度を最大化するアテンションベースの時間アグリゲーションモジュールである。
本稿では,最先端のビデオオブジェクトセグメンテーションネットワークを微調整することで,トリマップ生成問題を効果的に解決する方法を示す。
論文 参考訳（メタデータ） (2021-05-24T17:34:57Z) - M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object
Detection with Transformers [78.48081972698888]
M3DeTRは、マルチスケールのフィーチャーピラミッドに基づいて、異なるポイントクラウド表現と異なる機能スケールを組み合わせたものです。
M3DeTRは、複数のポイントクラウド表現、機能スケール、およびトランスを使用してポイントクラウド間の相互関係を同時にモデル化する最初のアプローチです。
論文 参考訳（メタデータ） (2021-04-24T06:48:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。