論文の概要: SyncVIS: Synchronized Video Instance Segmentation

• arxiv url: http://arxiv.org/abs/2412.00882v1
• Date: Sun, 01 Dec 2024 16:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:45:35.411794
• Title: SyncVIS: Synchronized Video Instance Segmentation
• Title（参考訳）: SyncVIS: 同期ビデオインスタンスセグメンテーション
• Authors: Rongkun Zheng, Lu Qi, Xi Chen, Yi Wang, Kun Wang, Yu Qiao, Hengshuang Zhao,
• Abstract要約: 我々はSyncVISという新しいフレームワークを用いて同期モデリングを行う。 SyncVISはビデオレベルのクエリの埋め込みを明示的に導入し、ビデオレベルのクエリとフレームレベルのクエリの埋め込みを同期させる2つの主要なモジュールを設計する。 提案手法は,提案手法の有効性と汎用性を実証し,最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 48.75470418596875
• License:
• Abstract: Recent DETR-based methods have advanced the development of Video Instance Segmentation (VIS) through transformers' efficiency and capability in modeling spatial and temporal information. Despite harvesting remarkable progress, existing works follow asynchronous designs, which model video sequences via either video-level queries only or adopting query-sensitive cascade structures, resulting in difficulties when handling complex and challenging video scenarios. In this work, we analyze the cause of this phenomenon and the limitations of the current solutions, and propose to conduct synchronized modeling via a new framework named SyncVIS. Specifically, SyncVIS explicitly introduces video-level query embeddings and designs two key modules to synchronize video-level query with frame-level query embeddings: a synchronized video-frame modeling paradigm and a synchronized embedding optimization strategy. The former attempts to promote the mutual learning of frame- and video-level embeddings with each other and the latter divides large video sequences into small clips for easier optimization. Extensive experimental evaluations are conducted on the challenging YouTube-VIS 2019 & 2021 & 2022, and OVIS benchmarks and SyncVIS achieves state-of-the-art results, which demonstrates the effectiveness and generality of the proposed approach. The code is available at https://github.com/rkzheng99/SyncVIS.
• Abstract（参考訳）: 近年のDETRに基づく手法は、空間情報と時間情報のモデリングにおいて、トランスフォーマーの効率と能力を通じて、ビデオインスタンスセグメンテーション(VIS)の開発が進んでいる。 顕著な進歩にもかかわらず、既存の作業は非同期設計に従っており、ビデオレベルのクエリのみを通してビデオシーケンスをモデル化するか、クエリに敏感なカスケード構造を採用するかのいずれかである。 本研究では,この現象の原因と現在のソリューションの限界を分析し,SyncVISという新しいフレームワークを用いて同期モデリングを行うことを提案する。 具体的には、SyncVISはビデオレベルのクエリの埋め込みを明示的に導入し、ビデオレベルのクエリとフレームレベルのクエリの埋め込みを同期させる2つの重要なモジュールを設計する。 前者はフレームレベルの埋め込みとビデオレベルの埋め込みの相互学習を促進し、後者は大きなビデオシーケンスを小さなクリップに分割し、最適化を容易にする。 挑戦的なYouTube-VIS 2019 & 2021 & 2022で大規模な実験的評価が行われ、OVISベンチマークとSyncVISは最先端の結果を達成し、提案手法の有効性と汎用性を示す。 コードはhttps://github.com/rkzheng99/SyncVIS.comで公開されている。

関連論文リスト

• Sync from the Sea: Retrieving Alignable Videos from Large-Scale Datasets [62.280729345770936]
  AVR(Alignable Video Retrieval)の課題について紹介する。 クェリビデオが与えられた場合、我々は大量のクリップから良質な映像を識別し、時間的にクェリに同期させることができる。 大規模なKineetics700を含む3つのデータセットに関する実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-02T20:00:49Z)
• TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation [97.96178992465511]
  生成したビデオは、新しい概念の出現と、時間経過とともに現実の動画のようにそれらの関係の遷移を取り入れるべきである、と我々は主張する。 ビデオ生成モデルの時間構成性を評価するため,細部まで作り上げたテキストプロンプトのベンチマークであるTC-Benchと,それに対応する地上の真理ビデオ,ロバストな評価指標を提案する。
  論文  参考訳（メタデータ） (2024-06-12T21:41:32Z)
• DVIS++: Improved Decoupled Framework for Universal Video Segmentation [30.703276476607545]
  我々は,最初のオープン語彙ユニバーサルビデオセグメンテーションフレームワークであるOV-DVIS++を提案する。 CLIPとDVIS++を統合することで、最初のオープン語彙のユニバーサルビデオセグメンテーションフレームワークであるOV-DVIS++を提案する。
  論文  参考訳（メタデータ） (2023-12-20T03:01:33Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Streaming Video Model [90.24390609039335]
  本稿では,映像理解タスクをストリーミング・ビジョン・トランスフォーマー(Streaming Vision Transformer, S-ViT)と呼ばれる1つのストリーミング・ビデオ・アーキテクチャに統合することを提案する。 S-ViTはまず、フレームベースのビデオタスクを提供するメモリ対応時空間エンコーダでフレームレベルの機能を生成する。 S-ViTの効率と有効性は、シークエンスに基づく行動認識における最先端の精度によって実証される。
  論文  参考訳（メタデータ） (2023-03-30T08:51:49Z)
• Online Video Instance Segmentation via Robust Context Fusion [36.376900904288966]
  ビデオインスタンスセグメンテーション(VIS)は、ビデオシーケンス内のオブジェクトインスタンスを分類、セグメンテーション、追跡することを目的としている。 最近のトランスフォーマーベースのニューラルネットワークは、VISタスクのモデリングの強力な能力を実証している。 そこで本稿では,VISをオンライン方式で扱うための堅牢なコンテキスト融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T15:04:50Z)
• STC: Spatio-Temporal Contrastive Learning for Video Instance Segmentation [47.28515170195206]
  ビデオインスタンス(VIS)は、ビデオ内の分類、セグメンテーション、インスタンスアソシエーションを同時に必要とするタスクである。 最近のVISアプローチは、RoI関連の操作や3D畳み込みなど、この目標を達成するために洗練されたパイプラインに依存している。 本稿では,インスタンスセグメンテーション手法であるConInstをベースとした,シンプルで効率的な単一ステージVISフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-08T09:34:26Z)
• Noisy-LSTM: Improving Temporal Awareness for Video Semantic Segmentation [29.00635219317848]
  本稿では,エンドツーエンドで学習可能なNoisy-LSTMという新しいモデルを提案する。 また,ビデオシーケンスのフレームをノイズに置き換える,シンプルで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:08:15Z)
• Temporal Context Aggregation for Video Retrieval with Contrastive Learning [81.12514007044456]
  フレームレベルの特徴間の時間的長距離情報を組み込んだビデオ表現学習フレームワークTCAを提案する。 提案手法は,映像レベルの特徴を持つ最先端の手法に対して,FIVR-200Kでは17% mAPの大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2020-08-04T05:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。