論文の概要: NOVIS: A Case for End-to-End Near-Online Video Instance Segmentation

• arxiv url: http://arxiv.org/abs/2308.15266v2
• Date: Mon, 18 Sep 2023 14:46:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 22:27:13.391777
• Title: NOVIS: A Case for End-to-End Near-Online Video Instance Segmentation
• Title（参考訳）: NOVIS: 終端から終端に近いビデオインスタンスセグメンテーションの1例
• Authors: Tim Meinhardt and Matt Feiszli and Yuchen Fan and Laura Leal-Taixe and Rakesh Ranjan
• Abstract要約: ビデオインスタンス(VIS)コミュニティは、オフラインメソッドは一般的にオンライン処理によってフレームよりも優れているという共通の信念の下で運営されている。 本稿では、異なる処理パラダイムの詳細な分析と、新しいエンドツーエンドビデオインスタンス法を提案する。 我々のNOVISは、手作りの追跡を避ける最初のニアオンラインVISアプローチである。
• 参考スコア（独自算出の注目度）: 22.200700685751826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Until recently, the Video Instance Segmentation (VIS) community operated under the common belief that offline methods are generally superior to a frame by frame online processing. However, the recent success of online methods questions this belief, in particular, for challenging and long video sequences. We understand this work as a rebuttal of those recent observations and an appeal to the community to focus on dedicated near-online VIS approaches. To support our argument, we present a detailed analysis on different processing paradigms and the new end-to-end trainable NOVIS (Near-Online Video Instance Segmentation) method. Our transformer-based model directly predicts spatio-temporal mask volumes for clips of frames and performs instance tracking between clips via overlap embeddings. NOVIS represents the first near-online VIS approach which avoids any handcrafted tracking heuristics. We outperform all existing VIS methods by large margins and provide new state-of-the-art results on both YouTube-VIS (2019/2021) and the OVIS benchmarks.
• Abstract（参考訳）: 最近まで、ビデオインスタンスセグメンテーション(vis)コミュニティは、オフラインメソッドは一般的にフレームによるオンライン処理よりも優れているという共通の信念の下で運営されていた。 しかし、最近のオンライン手法の成功は、特に挑戦的で長いビデオシーケンスに対するこの信念に疑問を呈している。 我々は、この研究を最近の観察に対する反論として理解し、コミュニティに対して、ほぼオンラインに近いVISアプローチに焦点を合わせるよう訴える。 本論を支持するために,様々な処理パラダイムに関する詳細な解析と,新しいエンドツーエンドトレーニング可能なnovis(near-online video instance segmentation)法を提案する。 我々のトランスモデルでは,フレームクリップの時空間マスクボリュームを直接予測し,重複埋め込みによるクリップ間のインスタンス追跡を行う。 NOVISは、手作りの追跡ヒューリスティックを回避する最初のニアオンラインVISアプローチである。 我々は既存のすべてのVIS手法を大きなマージンで上回り、YouTube-VIS (2019/2021) とOVISベンチマークの両方で最新の結果を提供する。

関連論文リスト

• UVIS: Unsupervised Video Instance Segmentation [65.46196594721545]
  ビデオキャプションインスタンスのセグメンテーションには、ビデオフレームをまたいだすべてのオブジェクトの分類、セグメンテーション、追跡が必要である。 UVISは,ビデオアノテーションや高密度ラベルに基づく事前学習を必要とせずに,ビデオインスタンスのセグメンテーションを行うことのできる,新しいUnsupervised Video Instance (UVIS) フレームワークである。 本フレームワークは,フレームレベルの擬似ラベル生成,トランスフォーマーベースのVISモデルトレーニング,クエリベースのトラッキングという3つの重要なステップで構成されている。
  論文  参考訳（メタデータ） (2024-06-11T03:05:50Z)
• DVIS++: Improved Decoupled Framework for Universal Video Segmentation [30.703276476607545]
  我々は,最初のオープン語彙ユニバーサルビデオセグメンテーションフレームワークであるOV-DVIS++を提案する。 CLIPとDVIS++を統合することで、最初のオープン語彙のユニバーサルビデオセグメンテーションフレームワークであるOV-DVIS++を提案する。
  論文  参考訳（メタデータ） (2023-12-20T03:01:33Z)
• TCOVIS: Temporally Consistent Online Video Instance Segmentation [98.29026693059444]
  そこで我々は,TCOVISというビデオインスタンスセグメンテーションのための新しいオンライン手法を提案する。 本手法のコアは,グローバルなインスタンス割り当て戦略とビデオ時間拡張モジュールから構成される。 提案手法を4つのVISベンチマークで評価し,ベル・アンド・ウィストルを使わずに全ベンチマークで最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-21T07:59:15Z)
• Robust Online Video Instance Segmentation with Track Queries [15.834703258232002]
  我々は,YouTube-VIS 2019ベンチマークにおいて,上位のオフラインメソッドと同等に動作するフルオンライントランスフォーマーベースのビデオインスタンスセグメンテーションモデルを提案する。 十分な画像セグメンテーションアーキテクチャと組み合わせることで,ショートビデオに拘束されずに,トラッククエリが印象的な精度を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-16T18:50:14Z)
• A Generalized Framework for Video Instance Segmentation [49.41441806931224]
  ビデオインスタンスセグメンテーション(VIS)コミュニティでは,複雑なシーケンスと隠蔽シーケンスによる長いビデオの処理が,新たな課題として浮上している。 我々は、挑戦的なベンチマーク上で最先端のパフォーマンスを達成するための、VISの一般化されたフレームワーク、すなわちGenVISを提案する。 我々は、YouTube-VIS 2019/2021/2022およびOccluded VIS (OVIS)上で、人気VISベンチマークに対する我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2022-11-16T11:17:19Z)
• DeVIS: Making Deformable Transformers Work for Video Instance Segmentation [4.3012765978447565]
  ビデオインスタンス(VIS)は、ビデオシーケンスにおける複数オブジェクトの検出、追跡、セグメンテーションに共同で取り組む。 トランスフォーマーは最近、VISタスク全体を単一のセット予測問題としてキャストすることを許可した。 変形可能な注意は、より効率的な代替手段を提供するが、その時間領域やセグメンテーションタスクへの応用はまだ検討されていない。
  論文  参考訳（メタデータ） (2022-07-22T14:27:45Z)
• Efficient Video Instance Segmentation via Tracklet Query and Proposal [62.897552852894854]
  Video Instanceは、ビデオ内の複数のオブジェクトインスタンスを同時に分類、セグメント化、追跡することを目的としている。 ほとんどのクリップレベルメソッドはエンドツーエンドの学習可能でもリアルタイムでもない。 本稿では,効率的なトレーニングと推論を行う完全エンドツーエンドフレームワークであるEfficientVISを提案する。
  論文  参考訳（メタデータ） (2022-03-03T17:00:11Z)
• Crossover Learning for Fast Online Video Instance Segmentation [53.5613957875507]
  本稿では,現在のフレームのインスタンス特徴を用いて,他のフレームで同じインスタンスをピクセル単位でローカライズする,新しいクロスオーバー学習方式を提案する。 私たちの知る限り、CrossVISはすべてのオンラインVISメソッドの中で最先端のパフォーマンスを達成し、レイテンシと精度の適切なトレードオフを示します。
  論文  参考訳（メタデータ） (2021-04-13T06:47:40Z)
• End-to-End Video Instance Segmentation with Transformers [84.17794705045333]
  ビデオインスタンスセグメンテーション(ビデオインスタンスセグメンテーション、英: Video instance segmentation、VIS)は、ビデオに関心のあるオブジェクトインスタンスを同時に分類、セグメンテーション、追跡することを必要とするタスクである。 本稿では,Transformer上に構築された新しいビデオインスタンスセグメンテーションフレームワークVisTRを提案する。 初めて、Transformers上に構築されたよりシンプルで高速なビデオインスタンスセグメンテーションフレームワークをデモし、競争力のある精度を実現した。
  論文  参考訳（メタデータ） (2020-11-30T02:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。