論文の概要: Space-time Reinforcement Network for Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2405.04042v1
- Date: Tue, 7 May 2024 06:26:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 15:09:09.459551
- Title: Space-time Reinforcement Network for Video Object Segmentation
- Title（参考訳）: ビデオオブジェクトセグメンテーションのための時空間強化ネットワーク
- Authors: Yadang Chen, Wentao Zhu, Zhi-Xin Yang, Enhua Wu,
- Abstract要約: ビデオオブジェクトセグメンテーション(VOS)ネットワークは通常、メモリベースの手法を使用する。
これらの手法は,1) 隣接するビデオフレーム間の空間的コヒーレンスをデータの整合によって破壊し,2) 画素レベルのマッチングが望ましくないミスマッチを引き起こすという2つの問題に悩まされる。
本稿では,隣接フレーム間の補助フレームを生成することを提案し,クエリの暗黙的短時間参照として機能する。
- 参考スコア（独自算出の注目度）: 16.67780344875854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, video object segmentation (VOS) networks typically use memory-based methods: for each query frame, the mask is predicted by space-time matching to memory frames. Despite these methods having superior performance, they suffer from two issues: 1) Challenging data can destroy the space-time coherence between adjacent video frames. 2) Pixel-level matching will lead to undesired mismatching caused by the noises or distractors. To address the aforementioned issues, we first propose to generate an auxiliary frame between adjacent frames, serving as an implicit short-temporal reference for the query one. Next, we learn a prototype for each video object and prototype-level matching can be implemented between the query and memory. The experiment demonstrated that our network outperforms the state-of-the-art method on the DAVIS 2017, achieving a J&F score of 86.4%, and attains a competitive result 85.0% on YouTube VOS 2018. In addition, our network exhibits a high inference speed of 32+ FPS.
- Abstract（参考訳）: 近年、ビデオオブジェクトセグメンテーション(VOS)ネットワークは一般的にメモリベースの手法を用いており、各クエリフレームに対して、マスクはメモリフレームとの時空間マッチングによって予測される。
これらの方法が優れたパフォーマンスを持つにもかかわらず、それらは2つの問題に悩まされる。
1)隣り合うビデオフレーム間の時間的コヒーレンスを破壊することができる。
2) 画素レベルのマッチングは,ノイズや乱れによる望ましくないミスマッチにつながる。
上記の問題に対処するために、まず、隣接するフレーム間で補助的なフレームを生成し、クエリーの暗黙の短時間参照として機能することを提案する。
次に、各ビデオオブジェクトのプロトタイプを学習し、クエリとメモリの間にプロトタイプレベルのマッチングを実装する。
この実験は、我々のネットワークがDAVIS 2017で最先端の手法を上回り、J&Fスコアが86.4%に達し、YouTube VOS 2018で85.0%の競争結果を得たことを実証した。
さらに,このネットワークは32FPS以上の高速な推論速度を示す。
関連論文リスト
- Look Before You Match: Instance Understanding Matters in Video Object
Segmentation [114.57723592870097]
本稿では,ビデオオブジェクトセグメンテーション(VOS)におけるインスタンスの重要性について論じる。
本稿では,クエリベースのインスタンスセグメンテーション(IS)ブランチを現在のフレームのインスタンス詳細に分割し,VOSブランチをメモリバンクと時空間マッチングする,VOS用の2分岐ネットワークを提案する。
我々は、ISブランチから十分に学習されたオブジェクトクエリを使用して、インスタンス固有の情報をクエリキーに注入し、インスタンス拡張マッチングをさらに実行します。
論文 参考訳（メタデータ） (2022-12-13T18:59:59Z) - Per-Clip Video Object Segmentation [110.08925274049409]
近年、メモリベースの手法は、半教師付きビデオオブジェクトセグメンテーションにおいて有望な結果を示している。
映像オブジェクトのセグメンテーションをクリップワイドマスクワイド伝搬として扱う。
本稿では,Clip毎の推論に適した新しい手法を提案する。
論文 参考訳（メタデータ） (2022-08-03T09:02:29Z) - Object Propagation via Inter-Frame Attentions for Temporally Stable
Video Instance Segmentation [51.68840525174265]
ビデオインスタンスセグメンテーションは、ビデオ内のオブジェクトを検出し、セグメンテーションし、追跡することを目的としている。
現在のアプローチでは、画像レベルのセグメンテーションアルゴリズムを時間領域に拡張している。
本稿では,検出の欠如による問題を解消するビデオインスタンス分割手法を提案する。
論文 参考訳（メタデータ） (2021-11-15T04:15:57Z) - Rethinking Space-Time Networks with Improved Memory Coverage for
Efficient Video Object Segmentation [68.45737688496654]
各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。
対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。
すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
論文 参考訳（メタデータ） (2021-06-09T16:50:57Z) - Spatiotemporal Graph Neural Network based Mask Reconstruction for Video
Object Segmentation [70.97625552643493]
本稿では,クラス非依存オブジェクトを半教師あり設定でセグメント化するタスクについて述べる。
提案手法のすべてを利用して局所的なコンテキストを捕捉する新しいグラフニューラルネットワーク(TG-Net)を提案する。
論文 参考訳（メタデータ） (2020-12-10T07:57:44Z) - Dual Temporal Memory Network for Efficient Video Object Segmentation [42.05305410986511]
ビデオオブジェクト(VOS)の基本的な課題の1つは、時間情報を最大限活用してパフォーマンスを向上する方法である。
本稿では,現在のフレームに先行する短・長期のビデオシーケンス情報を時間記憶として格納するエンド・ツー・エンド・ネットワークを提案する。
我々のネットワークは、短期記憶サブネットワークと長期記憶サブネットワークを含む2つの時間的サブネットワークで構成されている。
論文 参考訳（メタデータ） (2020-03-13T06:07:45Z) - CRVOS: Clue Refining Network for Video Object Segmentation [5.947279761429668]
我々は,これらのシナリオを効率的に処理する中間ネットワークを持たないリアルタイム・ネットワーク,Clue Network for Video Object Refining (CRVOS)を提案する。
提案手法は競合精度の高い既存手法の中で最速のfps速度を示す。
DAVIS 2016では63.5fps、J&Fスコア81.6%を達成した。
論文 参考訳（メタデータ） (2020-02-10T10:55:31Z) - Efficient Video Semantic Segmentation with Labels Propagation and
Refinement [138.55845680523908]
本稿では,ハイブリッドGPU/CPUを用いた高精細ビデオのリアルタイムセマンティックセマンティックセマンティック化の問題に取り組む。
i) CPU上では、非常に高速な光フロー法であり、ビデオの時間的側面を利用して、あるフレームから次のフレームへ意味情報を伝達するために使用される。
高解像度フレーム(2048 x 1024)を持つ一般的なCityscapesデータセットでは、単一のGPUとCPU上で80から1000Hzの動作ポイントが提案されている。
論文 参考訳（メタデータ） (2019-12-26T11:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。