論文の概要: Adaptive Memory Management for Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2204.06626v1
- Date: Wed, 13 Apr 2022 19:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 13:17:01.391249
- Title: Adaptive Memory Management for Video Object Segmentation
- Title（参考訳）: ビデオオブジェクト分割のための適応メモリ管理
- Authors: Ali Pourganjalikhan and Charalambos Poullis
- Abstract要約: マッチングベースのネットワークは、将来の推論のために、各kフレームを外部メモリバンクに格納する。
メモリバンクのサイズはビデオの長さによって徐々に増加し、推論速度が遅くなり、任意の長さのビデオを扱うのが不可能になる。
本稿では、半教師付きビデオオブジェクトセグメンテーション(VOS)のためのマッチングベースネットワークのための適応型メモリバンク戦略を提案する。
- 参考スコア（独自算出の注目度）: 6.282068591820945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Matching-based networks have achieved state-of-the-art performance for video
object segmentation (VOS) tasks by storing every-k frames in an external memory
bank for future inference. Storing the intermediate frames' predictions
provides the network with richer cues for segmenting an object in the current
frame. However, the size of the memory bank gradually increases with the length
of the video, which slows down inference speed and makes it impractical to
handle arbitrary length videos.
This paper proposes an adaptive memory bank strategy for matching-based
networks for semi-supervised video object segmentation (VOS) that can handle
videos of arbitrary length by discarding obsolete features. Features are
indexed based on their importance in the segmentation of the objects in
previous frames. Based on the index, we discard unimportant features to
accommodate new features. We present our experiments on DAVIS 2016, DAVIS 2017,
and Youtube-VOS that demonstrate that our method outperforms state-of-the-art
that employ first-and-latest strategy with fixed-sized memory banks and
achieves comparable performance to the every-k strategy with increasing-sized
memory banks. Furthermore, experiments show that our method increases inference
speed by up to 80% over the every-k and 35% over first-and-latest strategies.
- Abstract（参考訳）: マッチングベースのネットワークは、将来の推論のために各kフレームを外部メモリバンクに格納することで、ビデオオブジェクトセグメンテーション(vos)タスクの最先端のパフォーマンスを達成している。
中間フレームの予測を格納することで、ネットワークは現在のフレーム内のオブジェクトをセグメンテーションするためのより豊富な手がかりを提供する。
しかし、ビデオの長さによってメモリバンクのサイズは徐々に増加し、推論速度が遅くなり、任意の長さの動画を扱うのは現実的ではない。
本稿では、半教師付きビデオオブジェクトセグメンテーション(VOS)のためのマッチングベースネットワークのための適応型メモリバンク戦略を提案する。
機能は、前のフレームのオブジェクトのセグメンテーションにおける重要性に基づいてインデックスされる。
インデックスに基づいて、新しい機能に対応するために重要でない機能を捨てます。
DAVIS 2016, DAVIS 2017 および Youtube-VOS において,本手法が固定サイズのメモリバンクを用いた第1次および第2次戦略を立案し, 最大サイズのメモリバンクによる全k戦略に匹敵する性能を発揮することを示す実験を行った。
さらに,提案手法は1kで最大80%,1次および2次戦略で35%向上することを示す実験を行った。
関連論文リスト
- Efficient Video Object Segmentation via Modulated Cross-Attention Memory [123.12273176475863]
頻繁なメモリ拡張を必要とせず、時間的滑らかさをモデル化するトランスフォーマーベースの手法MAVOSを提案する。
我々のMAVOSは、単一のV100 GPU上で37フレーム/秒(FPS)で動作しながら、J&Fスコア63.3%を達成する。
論文 参考訳（メタデータ） (2024-03-26T17:59:58Z) - Memory-Efficient Continual Learning Object Segmentation for Long Video [7.9190306016374485]
本稿では,オンラインVOS手法のメモリ要求を低減し,長ビデオのモデリング精度と一般化を向上する2つの新しい手法を提案する。
事前学習した知識を保存するための継続的学習技術の成功に動機づけられた、Gated-Regularizer Continual Learning (GRCL)とRestruction-based Memory Selection Continual Learning (RMSCL)を提案する。
実験結果から,提案手法はオンラインVOSモデルの性能を8%以上向上し,長期画像データセットのロバスト性の向上を図っている。
論文 参考訳（メタデータ） (2023-09-26T21:22:03Z) - READMem: Robust Embedding Association for a Diverse Memory in
Unconstrained Video Object Segmentation [24.813416082160224]
制約のないビデオを扱うためのsVOSメソッドのためのモジュラーフレームワークであるREADMemを提示する。
本稿では、メモリに格納された埋め込みと、更新プロセス中にクエリ埋め込みとを堅牢に関連付けることを提案する。
提案手法は,LV(Long-time Video dataset)において,短いシーケンスのパフォーマンスを損なうことなく,競合する結果を得る。
論文 参考訳（メタデータ） (2023-05-22T08:31:16Z) - Look Before You Match: Instance Understanding Matters in Video Object
Segmentation [114.57723592870097]
本稿では,ビデオオブジェクトセグメンテーション(VOS)におけるインスタンスの重要性について論じる。
本稿では,クエリベースのインスタンスセグメンテーション(IS)ブランチを現在のフレームのインスタンス詳細に分割し,VOSブランチをメモリバンクと時空間マッチングする,VOS用の2分岐ネットワークを提案する。
我々は、ISブランチから十分に学習されたオブジェクトクエリを使用して、インスタンス固有の情報をクエリキーに注入し、インスタンス拡張マッチングをさらに実行します。
論文 参考訳（メタデータ） (2022-12-13T18:59:59Z) - Per-Clip Video Object Segmentation [110.08925274049409]
近年、メモリベースの手法は、半教師付きビデオオブジェクトセグメンテーションにおいて有望な結果を示している。
映像オブジェクトのセグメンテーションをクリップワイドマスクワイド伝搬として扱う。
本稿では,Clip毎の推論に適した新しい手法を提案する。
論文 参考訳（メタデータ） (2022-08-03T09:02:29Z) - Region Aware Video Object Segmentation with Deep Motion Modeling [56.95836951559529]
Region Aware Video Object (RAVOS) は、効率的なオブジェクトセグメンテーションとメモリストレージのための関心領域を予測する手法である。
効率的なセグメンテーションのために、ROIに応じてオブジェクトの特徴を抽出し、オブジェクトレベルのセグメンテーションのためにオブジェクトデコーダを設計する。
効率的なメモリ記憶のために,2つのフレーム間のオブジェクトの移動経路内の特徴を記憶することで,冗長なコンテキストをフィルタリングする動作パスメモリを提案する。
論文 参考訳（メタデータ） (2022-07-21T01:44:40Z) - Learning Quality-aware Dynamic Memory for Video Object Segmentation [32.06309833058726]
本稿では,各フレームのセグメンテーション品質を評価するために,QDMN(Quality-Aware Dynamic Memory Network)を提案する。
我々のQDMNは、DAVISとYouTube-VOSベンチマークの両方で最先端のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2022-07-16T12:18:04Z) - Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。
本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。
また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
論文 参考訳（メタデータ） (2022-05-08T02:24:43Z) - Video Object Segmentation with Episodic Graph Memory Networks [198.74780033475724]
セグメント化モデルを更新する学習」という新しいアイデアに対処するために,グラフメモリネットワークが開発された。
我々は、完全に連結されたグラフとして構成されたエピソードメモリネットワークを利用して、フレームをノードとして保存し、エッジによってフレーム間の相関をキャプチャする。
提案したグラフメモリネットワークは、一発とゼロショットの両方のビデオオブジェクトセグメンテーションタスクをうまく一般化できる、巧妙だが原則化されたフレームワークを提供する。
論文 参考訳（メタデータ） (2020-07-14T13:19:19Z) - Dual Temporal Memory Network for Efficient Video Object Segmentation [42.05305410986511]
ビデオオブジェクト(VOS)の基本的な課題の1つは、時間情報を最大限活用してパフォーマンスを向上する方法である。
本稿では,現在のフレームに先行する短・長期のビデオシーケンス情報を時間記憶として格納するエンド・ツー・エンド・ネットワークを提案する。
我々のネットワークは、短期記憶サブネットワークと長期記憶サブネットワークを含む2つの時間的サブネットワークで構成されている。
論文 参考訳（メタデータ） (2020-03-13T06:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。