論文の概要: LVOS: A Benchmark for Long-term Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2211.10181v2
- Date: Fri, 18 Aug 2023 12:35:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 01:19:09.862007
- Title: LVOS: A Benchmark for Long-term Video Object Segmentation
- Title（参考訳）: LVOS: 長期ビデオオブジェクトセグメンテーションのためのベンチマーク
- Authors: Lingyi Hong, Wenchao Chen, Zhongying Liu, Wei Zhang, Pinxue Guo,
Zhaoyu Chen, Wenqiang Zhang
- Abstract要約: textbfLVOSという,合計421分間の220ビデオからなるベンチマークデータセットを提案する。
LVOSのビデオは平均1.59分で、既存のVOSデータセットのビデオの20倍の長さです。
本稿では,時間的情報を適切に活用するための3つの相補的メモリバンクからなる横動的メモリネットワーク(DDMemory)を提案する。
- 参考スコア（独自算出の注目度）: 31.76468328063721
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing video object segmentation (VOS) benchmarks focus on short-term
videos which just last about 3-5 seconds and where objects are visible most of
the time. These videos are poorly representative of practical applications, and
the absence of long-term datasets restricts further investigation of VOS on the
application in realistic scenarios. So, in this paper, we present a new
benchmark dataset named \textbf{LVOS}, which consists of 220 videos with a
total duration of 421 minutes. To the best of our knowledge, LVOS is the first
densely annotated long-term VOS dataset. The videos in our LVOS last 1.59
minutes on average, which is 20 times longer than videos in existing VOS
datasets. Each video includes various attributes, especially challenges
deriving from the wild, such as long-term reappearing and cross-temporal
similar objeccts.Based on LVOS, we assess existing video object segmentation
algorithms and propose a Diverse Dynamic Memory network (DDMemory) that
consists of three complementary memory banks to exploit temporal information
adequately. The experimental results demonstrate the strength and weaknesses of
prior methods, pointing promising directions for further study. Data and code
are available at https://lingyihongfd.github.io/lvos.github.io/.
- Abstract（参考訳）: 既存のvos(video object segmentation)ベンチマークでは、約3～5秒の短いビデオに焦点が当てられている。
これらのビデオは実用性に乏しく、長期的なデータセットがないため、現実的なシナリオにおけるVOSのさらなる研究が制限される。
そこで本稿では,合計421分間の220本のビデオからなる,新しいベンチマークデータセットである \textbf{lvos} を提案する。
我々の知る限りでは、LVOSは最初の高密度アノテーション付き長期VOSデータセットである。
LVOSのビデオは平均1.59分で、既存のVOSデータセットのビデオの20倍の長さです。
LVOSをベースとして,既存のビデオオブジェクトセグメンテーションアルゴリズムを評価し,時間的情報を適切に活用するための3つの相補的メモリバンクからなるDiverse Dynamic Memory Network(DDMemory)を提案する。
実験結果は,先行手法の強度と弱さを示し,今後の研究に有望な方向を示した。
データとコードはhttps://lingyihongfd.github.io/lvos.github.io/で入手できる。
関連論文リスト
- HLV-1K: A Large-scale Hour-Long Video Benchmark for Time-Specific Long Video Understanding [52.696422425058245]
我々は、長時間ビデオ理解モデルを評価するために、大規模な時間長ビデオベンチマークHLV-1Kを構築した。
HLV-1Kは、高品質質問応答(QA)とマルチチョイス質問応答(MCQA)を備えた1009時間ビデオからなる。
我々は,既存の最先端手法を用いてベンチマークを評価し,様々なレベルでの深層ビデオ理解能力をテストすることの価値を実証した。
論文 参考訳（メタデータ） (2025-01-03T05:32:37Z) - ReTaKe: Reducing Temporal and Knowledge Redundancy for Long Video Understanding [55.320254859515714]
長時間ビデオ理解のための時間的視覚的冗長性と知識的冗長性を両立させるトレーニングフリー手法である$bfReTaKe$を導入する。
DPSelectは、人間の映像知覚と密接に一致している視覚的特徴に基づいて、局所的な最大ピーク距離を持つビデオを特定する。
PivotKVはピボットとしてVideoBenchsを使用し、注意スコアの低い非テキストトークンに対してKVキャッシュ圧縮を実行する。
論文 参考訳（メタデータ） (2024-12-29T15:42:24Z) - LVOS: A Benchmark for Large-scale Long-term Video Object Segmentation [29.07092353094942]
ビデオオブジェクトセグメンテーション(VOS)は、ビデオ内のターゲットオブジェクトの識別と追跡を目的としている。
既存のベンチマークは主に、ほとんどの場合オブジェクトが見える短期的なビデオに焦点を当てている。
296,401フレームの720の動画と407,945の高品質アノテーションからなるLVOSという新しいベンチマークを提案する。
LVOSのビデオは平均1.14分であり、既存のデータセットのビデオの約5倍の長さである。
論文 参考訳（メタデータ） (2024-04-30T07:50:29Z) - LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。
ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。
我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
論文 参考訳（メタデータ） (2024-04-04T11:33:29Z) - Efficient Video Object Segmentation via Modulated Cross-Attention Memory [123.12273176475863]
頻繁なメモリ拡張を必要とせず、時間的滑らかさをモデル化するトランスフォーマーベースの手法MAVOSを提案する。
我々のMAVOSは、単一のV100 GPU上で37フレーム/秒(FPS)で動作しながら、J&Fスコア63.3%を達成する。
論文 参考訳（メタデータ） (2024-03-26T17:59:58Z) - MOSE: A New Dataset for Video Object Segmentation in Complex Scenes [106.64327718262764]
ビデオオブジェクトセグメンテーション(VOS)は、ビデオクリップシーケンス全体を通して特定のオブジェクトをセグメンテーションすることを目的としている。
最先端のVOSメソッドは、既存のデータセット上で優れたパフォーマンス(例えば、90%以上のJ&F)を達成した。
我々は、複雑な環境でのトラッキングとセグメンテーションを研究するために、coMplex video Object SEgmentation (MOSE)と呼ばれる新しいVOSデータセットを収集する。
論文 参考訳（メタデータ） (2023-02-03T17:20:03Z) - Region Aware Video Object Segmentation with Deep Motion Modeling [56.95836951559529]
Region Aware Video Object (RAVOS) は、効率的なオブジェクトセグメンテーションとメモリストレージのための関心領域を予測する手法である。
効率的なセグメンテーションのために、ROIに応じてオブジェクトの特徴を抽出し、オブジェクトレベルのセグメンテーションのためにオブジェクトデコーダを設計する。
効率的なメモリ記憶のために,2つのフレーム間のオブジェクトの移動経路内の特徴を記憶することで,冗長なコンテキストをフィルタリングする動作パスメモリを提案する。
論文 参考訳（メタデータ） (2022-07-21T01:44:40Z) - 5th Place Solution for YouTube-VOS Challenge 2022: Video Object
Segmentation [4.004851693068654]
ビデオオブジェクトセグメンテーション(VOS)は、ディープラーニングの台頭とともに大きな進歩を遂げた。
類似の物体は容易に混同され、小さな物体を見つけるのが困難である。
本稿では,この課題に対する単純かつ効果的な解決法を提案する。
論文 参考訳（メタデータ） (2022-06-20T06:14:27Z) - Dual Temporal Memory Network for Efficient Video Object Segmentation [42.05305410986511]
ビデオオブジェクト(VOS)の基本的な課題の1つは、時間情報を最大限活用してパフォーマンスを向上する方法である。
本稿では,現在のフレームに先行する短・長期のビデオシーケンス情報を時間記憶として格納するエンド・ツー・エンド・ネットワークを提案する。
我々のネットワークは、短期記憶サブネットワークと長期記憶サブネットワークを含む2つの時間的サブネットワークで構成されている。
論文 参考訳（メタデータ） (2020-03-13T06:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。