論文の概要: LVMT: Video Mask Transformer for Long-term Video Segmentation

• arxiv url: http://arxiv.org/abs/2609.34895v2
• Date: Tue, 29 Sep 2026 09:13:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.779743
• Title: LVMT: Video Mask Transformer for Long-term Video Segmentation
• Title（参考訳）: LVMT:長期ビデオセグメンテーション用ビデオマスクトランス
• Abstract要約: 長期的なビデオマスクトランスフォーマーは、さまざまなビデオセグメンテーションタスクにまたがって、アートの新たな状態を設定する。 6つのベンチマークの実験では、LVMTは様々なビデオセグメンテーションタスクにまたがって、新しい最先端の技術を設定している。
• 参考スコア（独自算出の注目度）: 29.161682438019415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing online video segmentation methods struggle to track objects in long, complex videos with long-term occlusions. We hypothesize that this limitation is caused by (i) the inability of their temporal propagation mechanism to adaptively select the object information that is propagated across time, and (ii) their inability to be trained on long videos due to memory requirements and vanishing gradients. To address the first limitation, we propose to use a lightweight GRU-based temporal propagation module that can learn to select which information it keeps in memory and propagates across time. Second, to allow training on long videos, we introduce Truncated Query Propagation (TQP), a training strategy in which the model processes a video in chunks of frames, where information about tracked objects is propagated between chunks but backpropagation is only conducted in individual chunks, enabling longer temporal supervision without out-of-memory issues, inference overhead, or vanishing gradients. The resulting model is called the Long-term Video Mask Transformer (LVMT). Extensive experiments on six benchmarks show that LVMT sets a new state of the art across a range of video segmentation tasks, while retaining the speed of the highly efficient model it is based on, making it 10X faster than the prior state of the art. Code: https://www.tue-mps.org/lvmt
• Abstract（参考訳）: 既存のオンラインビデオセグメンテーション手法は、長い複雑なビデオの中でオブジェクトを追跡するのに苦労している。 私たちはこの制限は原因だと仮定する。 一 時間的に伝播する対象情報を適応的に選択できないこと、及び (II) メモリ要件と勾配の消失により, 長時間ビデオでトレーニングできないこと。 最初の制限に対処するために、GRUベースの時間伝搬モジュールを用いて、メモリに保持する情報を選択し、時間とともに伝播する。 第2に、長いビデオのトレーニングを可能にするために、Truncated Query Propagation (TQP)を導入します。これは、追跡対象に関する情報がチャンク間で伝播されるが、バックプロパゲーションは個々のチャンク内でのみ行われ、メモリ外問題、推論オーバーヘッド、あるいは消失勾配のない時間的監視を可能にします。 得られたモデルはLVMT(Long-term Video Mask Transformer)と呼ばれる。 6つのベンチマークによる大規模な実験により、LVMTは一連のビデオセグメンテーションタスクに新しい最先端を設定できる一方で、それに基づく高効率モデルの速度を保ち、従来の最先端モデルよりも10倍高速であることが示された。 コード:https://www.tue-mps.org/lvmt

関連論文リスト

• Mixture of Contexts for Long Video Generation [72.96361488755986]
  我々は長文ビデオ生成を内部情報検索タスクとして再放送する。 本稿では,学習可能なスパークアテンション・ルーティング・モジュールであるMixture of Contexts (MoC) を提案する。 データをスケールしてルーティングを徐々に分散させていくと、そのモデルは計算を適切な履歴に割り当て、アイデンティティ、アクション、シーンを数分のコンテンツで保存する。
  論文  参考訳（メタデータ） (2025-08-28T17:57:55Z)
• LV-MAE: Learning Long Video Representations through Masked-Embedding Autoencoders [11.915744347526784]
  長ビデオマスク埋め込みオートエンコーダ(LV-MAE)を紹介する。 LV-MAEは長期表現のための自己教師型学習フレームワークである。 3つの長ビデオベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-04-04T14:56:27Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
  LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。 DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。 時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
  論文  参考訳（メタデータ） (2024-10-22T21:21:37Z)
• A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [57.758863967770594]
  我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。 1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
  論文  参考訳（メタデータ） (2023-12-12T16:10:19Z)
• PGT: A Progressive Method for Training Models on Long Videos [45.935259079953255]
  メインストリーム方式は、生のビデオをクリップに分割し、不完全な時間的情報の流れをもたらす。 長文を扱う自然言語処理技術に着想を得て,マルコフ特性を満たすシリアルフラグメントとしてビデオを扱うことを提案する。 さまざまなモデルやデータセットで大幅なパフォーマンス改善をもたらすことを実証的に実証しています。
  論文  参考訳（メタデータ） (2021-03-21T06:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。