論文の概要: Robust Online Video Instance Segmentation with Track Queries
- arxiv url: http://arxiv.org/abs/2211.09108v1
- Date: Wed, 16 Nov 2022 18:50:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 15:49:22.287286
- Title: Robust Online Video Instance Segmentation with Track Queries
- Title（参考訳）: トラッククエリを用いたロバストなオンラインビデオインスタンスセグメンテーション
- Authors: Zitong Zhan, Daniel McKee, Svetlana Lazebnik
- Abstract要約: 我々は,YouTube-VIS 2019ベンチマークにおいて,上位のオフラインメソッドと同等に動作するフルオンライントランスフォーマーベースのビデオインスタンスセグメンテーションモデルを提案する。
十分な画像セグメンテーションアーキテクチャと組み合わせることで,ショートビデオに拘束されずに,トラッククエリが印象的な精度を示すことを示す。
- 参考スコア（独自算出の注目度）: 15.834703258232002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, transformer-based methods have achieved impressive results on Video
Instance Segmentation (VIS). However, most of these top-performing methods run
in an offline manner by processing the entire video clip at once to predict
instance mask volumes. This makes them incapable of handling the long videos
that appear in challenging new video instance segmentation datasets like UVO
and OVIS. We propose a fully online transformer-based video instance
segmentation model that performs comparably to top offline methods on the
YouTube-VIS 2019 benchmark and considerably outperforms them on UVO and OVIS.
This method, called Robust Online Video Segmentation (ROVIS), augments the
Mask2Former image instance segmentation model with track queries, a lightweight
mechanism for carrying track information from frame to frame, originally
introduced by the TrackFormer method for multi-object tracking. We show that,
when combined with a strong enough image segmentation architecture, track
queries can exhibit impressive accuracy while not being constrained to short
videos.
- Abstract（参考訳）: 近年,ビデオインスタンスセグメンテーション(vis)においてトランスフォーマティブベースの手法が注目されている。
しかし、これらのトップパフォーマンスメソッドのほとんどは、ビデオクリップ全体を一度に処理してインスタンスマスクボリュームを予測することで、オフラインで実行される。
これにより、UVOやOVISといった新しいビデオインスタンスセグメンテーションデータセットに挑戦するような、長いビデオを扱うことができない。
我々は、youtube-vis 2019ベンチマークでオフラインメソッドのトップに比較可能な、完全にオンラインのトランスフォーマーベースのビデオインスタンスセグメンテーションモデルを提案する。
この手法はロバストオンラインビデオセグメンテーション(rovis)と呼ばれ、マルチオブジェクトトラッキングのためのトラックフォーマ法により導入された、フレームからフレームへのトラック情報を運ぶ軽量なメカニズムであるトラッククエリを備えた、mask2formerイメージインスタンスセグメンテーションモデルを強化している。
十分な画像セグメンテーションアーキテクチャと組み合わせることで,ショートビデオに拘束されずに,トラッククエリが印象的な精度を示すことを示す。
関連論文リスト
- NOVIS: A Case for End-to-End Near-Online Video Instance Segmentation [22.200700685751826]
ビデオインスタンス(VIS)コミュニティは、オフラインメソッドは一般的にオンライン処理によってフレームよりも優れているという共通の信念の下で運営されている。
本稿では、異なる処理パラダイムの詳細な分析と、新しいエンドツーエンドビデオインスタンス法を提案する。
我々のNOVISは、手作りの追跡を避ける最初のニアオンラインVISアプローチである。
論文 参考訳（メタデータ） (2023-08-29T12:51:04Z) - VideoCutLER: Surprisingly Simple Unsupervised Video Instance
Segmentation [87.13210748484217]
VideoCutLERは、光学フローや自然ビデオのトレーニングのようなモーションベースの学習信号を使用することなく、教師なしのマルチインスタンスビデオセグメンテーションの簡単な方法である。
挑戦的なYouTubeVIS 2019ベンチマークで初めて、競争力のない教師なしの学習結果を示し、50.7%のAPvideo50を達成しました。
VideoCutLERは、監督されたビデオインスタンスセグメンテーションタスクのための強力な事前訓練モデルとしても機能し、APビデオの観点からは、YouTubeVIS 2019でDINOを15.9%上回っている。
論文 参考訳（メタデータ） (2023-08-28T17:10:12Z) - Two-Level Temporal Relation Model for Online Video Instance Segmentation [3.9349485816629888]
オフライン端末の性能に匹敵するオンライン手法を提案する。
オブジェクトをエンコードし、時間を通して関連付ける、メッセージパッシンググラフニューラルネットワークを導入する。
提案モデルは,YouTube-VISデータセット上で,訓練されたエンドツーエンド,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-10-30T10:01:01Z) - DeVIS: Making Deformable Transformers Work for Video Instance
Segmentation [4.3012765978447565]
ビデオインスタンス(VIS)は、ビデオシーケンスにおける複数オブジェクトの検出、追跡、セグメンテーションに共同で取り組む。
トランスフォーマーは最近、VISタスク全体を単一のセット予測問題としてキャストすることを許可した。
変形可能な注意は、より効率的な代替手段を提供するが、その時間領域やセグメンテーションタスクへの応用はまだ検討されていない。
論文 参考訳（メタデータ） (2022-07-22T14:27:45Z) - SiamMask: A Framework for Fast Online Object Tracking and Segmentation [96.61632757952292]
SiamMaskは、ビジュアルオブジェクトトラッキングとビデオオブジェクトセグメンテーションの両方を、同じシンプルな方法でリアルタイムで実行するためのフレームワークである。
マルチタスクモデルを簡単に再利用することで、複数のオブジェクトのトラッキングとセグメンテーションを扱うためのフレームワークを拡張することができることを示す。
ビデオオブジェクトセグメンテーションベンチマークでは、高速で競合性能を示すと同時に、ビジュアルオブジェクト追跡ベンチマークでは、リアルタイムに最先端の結果が得られる。
論文 参考訳（メタデータ） (2022-07-05T14:47:17Z) - Efficient Video Instance Segmentation via Tracklet Query and Proposal [62.897552852894854]
Video Instanceは、ビデオ内の複数のオブジェクトインスタンスを同時に分類、セグメント化、追跡することを目的としている。
ほとんどのクリップレベルメソッドはエンドツーエンドの学習可能でもリアルタイムでもない。
本稿では,効率的なトレーニングと推論を行う完全エンドツーエンドフレームワークであるEfficientVISを提案する。
論文 参考訳（メタデータ） (2022-03-03T17:00:11Z) - Improving Video Instance Segmentation via Temporal Pyramid Routing [61.10753640148878]
Video Instance(VIS)は、ビデオシーケンス内の各インスタンスを検出し、セグメンテーションし、追跡することを目的とした、新しい、本質的にはマルチタスク問題である。
隣接する2つのフレームからなる特徴ピラミッド対から画素レベルのアグリゲーションを条件付きで調整し,実行するための時間ピラミッドルーティング(TPR)戦略を提案する。
我々のアプローチはプラグイン・アンド・プレイモジュールであり、既存のインスタンス・セグメンテーション・メソッドにも容易に適用できます。
論文 参考訳（メタデータ） (2021-07-28T03:57:12Z) - End-to-End Video Instance Segmentation with Transformers [84.17794705045333]
ビデオインスタンスセグメンテーション(ビデオインスタンスセグメンテーション、英: Video instance segmentation、VIS)は、ビデオに関心のあるオブジェクトインスタンスを同時に分類、セグメンテーション、追跡することを必要とするタスクである。
本稿では,Transformer上に構築された新しいビデオインスタンスセグメンテーションフレームワークVisTRを提案する。
初めて、Transformers上に構築されたよりシンプルで高速なビデオインスタンスセグメンテーションフレームワークをデモし、競争力のある精度を実現した。
論文 参考訳（メタデータ） (2020-11-30T02:03:50Z) - Fast Video Object Segmentation With Temporal Aggregation Network and
Dynamic Template Matching [67.02962970820505]
ビデオオブジェクト(VOS)に「トラッキング・バイ・検出」を導入する。
本稿では,時間的アグリゲーションネットワークと動的時間進化テンプレートマッチング機構を提案する。
我々は,DAVISベンチマークで1フレームあたり0.14秒,J&Fで75.9%の速度で,複雑なベルとホイッスルを伴わずに,新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2020-07-11T05:44:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。