論文の概要: LVOS: A Benchmark for Long-term Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2211.10181v2
- Date: Fri, 18 Aug 2023 12:35:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 01:19:09.862007
- Title: LVOS: A Benchmark for Long-term Video Object Segmentation
- Title（参考訳）: LVOS: 長期ビデオオブジェクトセグメンテーションのためのベンチマーク
- Authors: Lingyi Hong, Wenchao Chen, Zhongying Liu, Wei Zhang, Pinxue Guo,
Zhaoyu Chen, Wenqiang Zhang
- Abstract要約: textbfLVOSという,合計421分間の220ビデオからなるベンチマークデータセットを提案する。
LVOSのビデオは平均1.59分で、既存のVOSデータセットのビデオの20倍の長さです。
本稿では,時間的情報を適切に活用するための3つの相補的メモリバンクからなる横動的メモリネットワーク(DDMemory)を提案する。
- 参考スコア（独自算出の注目度）: 31.76468328063721
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing video object segmentation (VOS) benchmarks focus on short-term
videos which just last about 3-5 seconds and where objects are visible most of
the time. These videos are poorly representative of practical applications, and
the absence of long-term datasets restricts further investigation of VOS on the
application in realistic scenarios. So, in this paper, we present a new
benchmark dataset named \textbf{LVOS}, which consists of 220 videos with a
total duration of 421 minutes. To the best of our knowledge, LVOS is the first
densely annotated long-term VOS dataset. The videos in our LVOS last 1.59
minutes on average, which is 20 times longer than videos in existing VOS
datasets. Each video includes various attributes, especially challenges
deriving from the wild, such as long-term reappearing and cross-temporal
similar objeccts.Based on LVOS, we assess existing video object segmentation
algorithms and propose a Diverse Dynamic Memory network (DDMemory) that
consists of three complementary memory banks to exploit temporal information
adequately. The experimental results demonstrate the strength and weaknesses of
prior methods, pointing promising directions for further study. Data and code
are available at https://lingyihongfd.github.io/lvos.github.io/.
- Abstract（参考訳）: 既存のvos(video object segmentation)ベンチマークでは、約3～5秒の短いビデオに焦点が当てられている。
これらのビデオは実用性に乏しく、長期的なデータセットがないため、現実的なシナリオにおけるVOSのさらなる研究が制限される。
そこで本稿では,合計421分間の220本のビデオからなる,新しいベンチマークデータセットである \textbf{lvos} を提案する。
我々の知る限りでは、LVOSは最初の高密度アノテーション付き長期VOSデータセットである。
LVOSのビデオは平均1.59分で、既存のVOSデータセットのビデオの20倍の長さです。
LVOSをベースとして,既存のビデオオブジェクトセグメンテーションアルゴリズムを評価し,時間的情報を適切に活用するための3つの相補的メモリバンクからなるDiverse Dynamic Memory Network(DDMemory)を提案する。
実験結果は,先行手法の強度と弱さを示し,今後の研究に有望な方向を示した。
データとコードはhttps://lingyihongfd.github.io/lvos.github.io/で入手できる。
関連論文リスト
- Vript: A Video Is Worth Thousands of Words [54.815686588378156]
Vriptは12Kの高解像度ビデオの注釈付きコーパスで、420Kのクリップで詳細な、密度の高い、スクリプトのようなキャプションを提供する。
各クリップには145ワードのキャプションがあり、ほとんどのビデオテキストデータセットの10倍以上の長さである。
Vriptは、長いビデオのための高密度で詳細なキャプションをエンドツーエンドに生成できる強力なモデルである。
論文 参考訳（メタデータ） (2024-06-10T06:17:55Z) - Streaming Long Video Understanding with Large Language Models [83.11094441893435]
VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。
一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。
提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
論文 参考訳（メタデータ） (2024-05-25T02:22:09Z) - LVOS: A Benchmark for Large-scale Long-term Video Object Segmentation [29.07092353094942]
ビデオオブジェクトセグメンテーション(VOS)は、ビデオ内のターゲットオブジェクトの識別と追跡を目的としている。
既存のベンチマークは主に、ほとんどの場合オブジェクトが見える短期的なビデオに焦点を当てている。
296,401フレームの720の動画と407,945の高品質アノテーションからなるLVOSという新しいベンチマークを提案する。
LVOSのビデオは平均1.14分であり、既存のデータセットのビデオの約5倍の長さである。
論文 参考訳（メタデータ） (2024-04-30T07:50:29Z) - LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。
ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。
我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
論文 参考訳（メタデータ） (2024-04-04T11:33:29Z) - Efficient Video Object Segmentation via Modulated Cross-Attention Memory [123.12273176475863]
頻繁なメモリ拡張を必要とせず、時間的滑らかさをモデル化するトランスフォーマーベースの手法MAVOSを提案する。
我々のMAVOSは、単一のV100 GPU上で37フレーム/秒(FPS)で動作しながら、J&Fスコア63.3%を達成する。
論文 参考訳（メタデータ） (2024-03-26T17:59:58Z) - MOSE: A New Dataset for Video Object Segmentation in Complex Scenes [106.64327718262764]
ビデオオブジェクトセグメンテーション(VOS)は、ビデオクリップシーケンス全体を通して特定のオブジェクトをセグメンテーションすることを目的としている。
最先端のVOSメソッドは、既存のデータセット上で優れたパフォーマンス(例えば、90%以上のJ&F)を達成した。
我々は、複雑な環境でのトラッキングとセグメンテーションを研究するために、coMplex video Object SEgmentation (MOSE)と呼ばれる新しいVOSデータセットを収集する。
論文 参考訳（メタデータ） (2023-02-03T17:20:03Z) - Region Aware Video Object Segmentation with Deep Motion Modeling [56.95836951559529]
Region Aware Video Object (RAVOS) は、効率的なオブジェクトセグメンテーションとメモリストレージのための関心領域を予測する手法である。
効率的なセグメンテーションのために、ROIに応じてオブジェクトの特徴を抽出し、オブジェクトレベルのセグメンテーションのためにオブジェクトデコーダを設計する。
効率的なメモリ記憶のために,2つのフレーム間のオブジェクトの移動経路内の特徴を記憶することで,冗長なコンテキストをフィルタリングする動作パスメモリを提案する。
論文 参考訳（メタデータ） (2022-07-21T01:44:40Z) - 5th Place Solution for YouTube-VOS Challenge 2022: Video Object
Segmentation [4.004851693068654]
ビデオオブジェクトセグメンテーション(VOS)は、ディープラーニングの台頭とともに大きな進歩を遂げた。
類似の物体は容易に混同され、小さな物体を見つけるのが困難である。
本稿では,この課題に対する単純かつ効果的な解決法を提案する。
論文 参考訳（メタデータ） (2022-06-20T06:14:27Z) - Dual Temporal Memory Network for Efficient Video Object Segmentation [42.05305410986511]
ビデオオブジェクト(VOS)の基本的な課題の1つは、時間情報を最大限活用してパフォーマンスを向上する方法である。
本稿では,現在のフレームに先行する短・長期のビデオシーケンス情報を時間記憶として格納するエンド・ツー・エンド・ネットワークを提案する。
我々のネットワークは、短期記憶サブネットワークと長期記憶サブネットワークを含む2つの時間的サブネットワークで構成されている。
論文 参考訳（メタデータ） (2020-03-13T06:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。