Fugu-MT 論文翻訳(概要): Autoregressive Universal Video Segmentation Model

論文の概要: Autoregressive Universal Video Segmentation Model

arxiv url: http://arxiv.org/abs/2508.19242v1
Date: Tue, 26 Aug 2025 17:59:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-27 17:42:38.944666
Title: Autoregressive Universal Video Segmentation Model
Title（参考訳）: 自己回帰的ユニバーサルビデオセグメンテーションモデル
Authors: Miran Heo, Sukjun Hwang, Min-Hung Chen, Yu-Chiang Frank Wang, Albert Gu, Seon Joo Kim, Ryo Hachiuma,
Abstract要約: Autoregressive Universal Model (AUSM) は、プロンプトとアンプロンプトの両方を統一する単一のアーキテクチャである。 AUSMは、以前のユニバーサルストリーミングビデオセグメンテーション法より優れ、16フレームシーケンスでのトレーニングを最大2.5倍高速化する。
参考スコア（独自算出の注目度）: 76.53497940205294
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent video foundation models such as SAM2 excel at prompted video segmentation by treating masks as a general-purpose primitive. However, many real-world settings require unprompted segmentation that aims to detect and track all objects in a video without external cues, leaving today's landscape fragmented across task-specific models and pipelines. We recast streaming video segmentation as sequential mask prediction, analogous to language modeling, and introduce the Autoregressive Universal Segmentation Model (AUSM), a single architecture that unifies both prompted and unprompted video segmentation. Built on recent state-space models, AUSM maintains a fixed-size spatial state and scales to video streams of arbitrary length. Furthermore, all components of AUSM are designed for parallel training across frames, yielding substantial speedups over iterative training. On standard benchmarks (DAVIS17, YouTube-VOS 2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, and OVIS) AUSM outperforms prior universal streaming video segmentation methods and achieves up to 2.5x faster training on 16-frame sequences.
Abstract（参考訳）: SAM2のような最近のビデオ基盤モデルは、マスクを汎用プリミティブとして扱うことにより、プロジェクションビデオセグメンテーションにおいて優れている。しかし、多くの現実世界の設定では、外部キューなしでビデオ内のすべてのオブジェクトを検出し、追跡することを目的とした、プロンプトのないセグメンテーションを必要としており、今日のランドスケープはタスク固有のモデルとパイプラインで断片化されている。我々は,ストリーミングビデオセグメンテーションを,言語モデリングに類似したシーケンシャルマスク予測として再キャストし,プロンプトとアンプロンプトの両方を統一した単一アーキテクチャであるAutoregressive Universal Segmentation Model (AUSM)を導入する。最近の状態空間モデルに基づいて構築されたAUSMは、固定サイズの空間状態を維持し、任意の長さのビデオストリームにスケールする。さらに、AUSMのすべてのコンポーネントはフレーム間の並列トレーニング用に設計されており、反復的なトレーニングよりも大幅にスピードアップする。標準ベンチマーク(DAVIS17, YouTube-VOS 2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, OVIS)では、AUSMは以前のユニバーサルストリーミングビデオセグメンテーション手法より優れ、16フレームシーケンスの最大2.5倍高速なトレーニングが達成されている。

関連論文リスト

VideoMolmo: Spatio-Temporal Grounding Meets Pointing [66.19964563104385]
VideoMolmoは、ビデオシーケンスのきめ細かいポインティングに適したモデルだ。新しい仮面融合はSAM2を双方向の点伝播に用いている。 The generalization of VideoMolmo, we introduced VPoMolS-temporal, a challenge out-of-distribution benchmark across two real-world scenarios。
論文参考訳（メタデータ） (2025-06-05T17:59:29Z)
ReferEverything: Towards Segmenting Everything We Can Speak of in Videos [42.88584315033116]
本稿では、自然言語で記述可能な、幅広い概念をビデオにセグメント化するためのフレームワークREMを提案する。我々のキーとなる洞察は、生成モデルのアーキテクチャ全体を、ノイズの予測からマスクの潜伏率の予測にシフトさせることで、保存することである。 REMは、Ref-DAVISのようなドメイン内データセットの最先端のデータセットと同等に動作し、最大12IoUポイントのドメインを上回ります。
論文参考訳（メタデータ） (2024-10-30T17:59:26Z)
VideoLLaMB: Long Streaming Video Understanding with Recurrent Memory Bridges [39.666361965650836]
VideoLLaMBは、長いビデオ理解のためのフレームワークである。 SceneTilingアルゴリズムは、ビデオをコヒーレントなセマンティックユニットに分割する。 VideoLLaMBは1つのNvidia A100 GPUを使用して最大320フレームを処理する。
論文参考訳（メタデータ） (2024-09-02T08:52:58Z)
Rethinking Video Segmentation with Masked Video Consistency: Did the Model Learn as Intended? [22.191260650245443]
ビデオセグメント化は、ビデオシーケンスを、オブジェクトやフレーム内の関心領域に基づいて意味のあるセグメントに分割することを目的としている。現在のビデオセグメンテーションモデルは、しばしば画像セグメンテーション技術から派生している。本研究では,空間的・時間的特徴集約を向上する学習戦略であるMasked Video Consistencyを提案する。
論文参考訳（メタデータ） (2024-08-20T08:08:32Z)
Robust Online Video Instance Segmentation with Track Queries [15.834703258232002]
我々は,YouTube-VIS 2019ベンチマークにおいて,上位のオフラインメソッドと同等に動作するフルオンライントランスフォーマーベースのビデオインスタンスセグメンテーションモデルを提案する。十分な画像セグメンテーションアーキテクチャと組み合わせることで,ショートビデオに拘束されずに,トラッククエリが印象的な精度を示すことを示す。
論文参考訳（メタデータ） (2022-11-16T18:50:14Z)
Local Memory Attention for Fast Video Semantic Segmentation [157.7618884769969]
既存の単一フレームセマンティックセグメンテーションモデルをビデオセマンティックセグメンテーションパイプラインに変換する新しいニューラルネットワークモジュールを提案する。我々のアプローチは過去のフレームにおける意味情報の豊富な表現をメモリモジュールに集約する。都市景観におけるセグメンテーション性能は,それぞれ1.7%,2.1%改善し,erfnetの推論時間は1.5msに抑えられた。
論文参考訳（メタデータ） (2021-01-05T18:57:09Z)
End-to-End Video Instance Segmentation with Transformers [84.17794705045333]
ビデオインスタンスセグメンテーション(ビデオインスタンスセグメンテーション、英: Video instance segmentation、VIS)は、ビデオに関心のあるオブジェクトインスタンスを同時に分類、セグメンテーション、追跡することを必要とするタスクである。本稿では,Transformer上に構築された新しいビデオインスタンスセグメンテーションフレームワークVisTRを提案する。初めて、Transformers上に構築されたよりシンプルで高速なビデオインスタンスセグメンテーションフレームワークをデモし、競争力のある精度を実現した。
論文参考訳（メタデータ） (2020-11-30T02:03:50Z)
HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training [75.55823420847759]
本稿では,大規模ビデオ+言語オムニ表現学習のための新しいフレームワークHEROを提案する。 HEROは階層構造でマルチモーダル入力を符号化し、ビデオフレームのローカルコンテキストをクロスモーダル変換器でキャプチャする。 HEROはHowTo100Mと大規模TVデータセットを共同でトレーニングし、マルチキャラクタインタラクションによる複雑な社会的ダイナミクスの理解を深める。
論文参考訳（メタデータ） (2020-05-01T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。