論文の概要: SSTVOS: Sparse Spatiotemporal Transformers for Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2101.08833v1
- Date: Thu, 21 Jan 2021 20:06:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-21 07:53:47.062848
- Title: SSTVOS: Sparse Spatiotemporal Transformers for Video Object Segmentation
- Title（参考訳）: SSTVOS:ビデオオブジェクトセグメンテーションのためのスパース時空間変換器
- Authors: Brendan Duke and Abdalla Ahmed and Christian Wolf and Parham Aarabi
and Graham W. Taylor
- Abstract要約: VOS(Transformer-based approach to video object segmentation)について紹介する。
注意に基づくアプローチによって、モデルが複数のフレームの歴史的特徴を乗り越えることを学ぶことができます。
提案手法は,YouTube-VOS と DAVIS 2017 において,最先端技術と比較してスケーラビリティとロバスト性の向上を図った。
- 参考スコア（独自算出の注目度）: 24.884078497381633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we introduce a Transformer-based approach to video object
segmentation (VOS). To address compounding error and scalability issues of
prior work, we propose a scalable, end-to-end method for VOS called Sparse
Spatiotemporal Transformers (SST). SST extracts per-pixel representations for
each object in a video using sparse attention over spatiotemporal features. Our
attention-based formulation for VOS allows a model to learn to attend over a
history of multiple frames and provides suitable inductive bias for performing
correspondence-like computations necessary for solving motion segmentation. We
demonstrate the effectiveness of attention-based over recurrent networks in the
spatiotemporal domain. Our method achieves competitive results on YouTube-VOS
and DAVIS 2017 with improved scalability and robustness to occlusions compared
with the state of the art.
- Abstract（参考訳）: 本稿では,ビデオオブジェクトセグメンテーション(VOS)に対するTransformerベースのアプローチを提案する。
従来の作業の複雑なエラーやスケーラビリティの問題に対処するために,スパース時空間変換器(SST)と呼ばれるVOSのスケーラブルでエンドツーエンドな手法を提案する。
SSTは、時空間的特徴に対するスパースアテンションを用いて、ビデオ内の各オブジェクトのピクセルごとの表現を抽出する。
VOSの注意に基づく定式化により、複数のフレームの履歴を学習し、動きのセグメンテーションを解くのに必要な対応計算を行うのに適した帰納的バイアスを提供する。
時空間領域における注意に基づく再帰的ネットワークの有効性を示す。
提案手法は,YouTube-VOS と DAVIS 2017 において,オクルージョンに対するスケーラビリティとロバスト性を改善した競合性を実現する。
関連論文リスト
- Time-Space Transformers for Video Panoptic Segmentation [3.2489082010225494]
画素レベルのセマンティックスとクリップレベルのインスタンスセグメンテーションを同時に予測する手法を提案する。
我々のネットワークはVPS-Transformerと呼ばれ、単一フレームのパノプティクスセグメンテーションのための畳み込みアーキテクチャと、純粋なTransformerブロックのインスタンス化に基づくビデオモジュールを組み合わせる。
論文 参考訳（メタデータ） (2022-10-07T13:30:11Z) - Patch-based Object-centric Transformers for Efficient Video Generation [71.55412580325743]
本稿では,新しい領域ベースビデオ生成アーキテクチャであるPatch-based Object-centric Video Transformer(POVT)を提案する。
圧縮ビデオの離散遅延空間上の自己回帰変換器を用いて、ビデオ予測における先行作業を構築した。
オブジェクト中心表現の圧縮性の向上により、より長い水平時間情報に対してオブジェクト情報のみにアクセスできるようにすることで、トレーニング効率を向上させることができる。
論文 参考訳（メタデータ） (2022-06-08T16:29:59Z) - Spatio-Temporal Transformer for Dynamic Facial Expression Recognition in
the Wild [19.5702895176141]
本稿では,各フレームモデル内の異種特徴を抽出する手法を提案する。
我々はCNNを用いて各フレームを視覚的特徴系列に変換する。
実験の結果,本手法は空間的および時間的依存を効果的に活用できることが示された。
論文 参考訳（メタデータ） (2022-05-10T08:47:15Z) - Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。
既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。
ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
論文 参考訳（メタデータ） (2022-04-08T03:37:39Z) - Group Contextualization for Video Recognition [80.3842253625557]
グループ文脈化(GC)は、2D-CNN(TSN)とTSMの性能を高める。
GCは4つの異なるコンテキストを並列に埋め込む。
グループコンテキスト化は、2D-CNN(例えばTSN)のパフォーマンスを最先端のビデオネットワークに匹敵するレベルまで向上させる。
論文 参考訳（メタデータ） (2022-03-18T01:49:40Z) - Video Frame Interpolation Transformer [86.20646863821908]
本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。
グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。
さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
論文 参考訳（メタデータ） (2021-11-27T05:35:10Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-03T17:40:32Z) - Shifted Chunk Transformer for Spatio-Temporal Representational Learning [24.361059477031162]
我々は、純粋な自己注意ブロックを持つシフトチャンク変換器を構築する。
このトランスフォーマーは、小さなパッチからグローバルなビデオクリップまで、階層的な時間的特徴を学習することができる。
Kinetics, Kinetics-600, UCF101, HMDB51の最先端のアプローチより優れている。
論文 参考訳（メタデータ） (2021-08-26T04:34:33Z) - Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。
我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
論文 参考訳（メタデータ） (2021-06-17T02:30:26Z) - Learning Dynamic Network Using a Reuse Gate Function in Semi-supervised
Video Object Segmentation [27.559093073097483]
セミ監視ビデオオブジェクト(Semi-VOS)の現在のアプローチは、以前のフレームから情報を伝達し、現在のフレームのセグメンテーションマスクを生成します。
時間的情報を用いて、最小限の変更で迅速にフレームを識別する。
フレーム間の変化を推定し、ネットワーク全体を計算したり、以前のフレームの機能を再利用したりするパスを決定する、新しい動的ネットワークを提案する。
論文 参考訳（メタデータ） (2020-12-21T19:40:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。