論文の概要: Towards Robust Video Instance Segmentation with Temporal-Aware Transformer

• arxiv url: http://arxiv.org/abs/2301.09416v1
• Date: Fri, 20 Jan 2023 05:22:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 13:33:51.795348
• Title: Towards Robust Video Instance Segmentation with Temporal-Aware Transformer
• Title（参考訳）: 時間認識変換器を用いたロバストビデオインスタンス分割に向けて
• Authors: Zhenghao Zhang and Fangtao Shao and Zuozhuo Dai and Siyu Zhu
• Abstract要約: 本稿では,エンコーダとデコーダの時間的特徴を集約するTAFormerを提案する。 TAFormerは、空間情報と時間情報を効果的に利用して、コンテキスト認識の特徴表現を取得し、最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 12.81807735850422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing transformer based video instance segmentation methods extract per frame features independently, hence it is challenging to solve the appearance deformation problem. In this paper, we observe the temporal information is important as well and we propose TAFormer to aggregate spatio-temporal features both in transformer encoder and decoder. Specifically, in transformer encoder, we propose a novel spatio-temporal joint multi-scale deformable attention module which dynamically integrates the spatial and temporal information to obtain enriched spatio-temporal features. In transformer decoder, we introduce a temporal self-attention module to enhance the frame level box queries with the temporal relation. Moreover, TAFormer adopts an instance level contrastive loss to increase the discriminability of instance query embeddings. Therefore the tracking error caused by visually similar instances can be decreased. Experimental results show that TAFormer effectively leverages the spatial and temporal information to obtain context-aware feature representation and outperforms state-of-the-art methods.
• Abstract（参考訳）: 既存の変圧器をベースとしたビデオインスタンス分割手法は,フレーム毎に独立に抽出されるため,外観変形問題の解決は困難である。 本稿では,時間的情報も重要であり,トランスエンコーダとデコーダの両方において時空間的特徴を集約するタフォーマを提案する。 具体的には、トランスエンコーダにおいて、空間情報と時間情報を動的に統合し、高密度な時空間特徴を得る新しい時空間共同変形型アテンションモジュールを提案する。 変換器デコーダでは,時間的関係を持つフレームレベルボックスクエリを強化するための時間的自己アテンションモジュールを導入する。 さらに、TAFormerはインスタンスレベルのコントラスト損失を採用し、インスタンスクエリの埋め込みの識別可能性を高める。 これにより、視覚的に類似したインスタンスによるトラッキングエラーを低減できる。 実験結果から,TAFormerは空間情報と時間情報を有効利用してコンテキスト認識特徴表現を求め,最先端の手法より優れることがわかった。

関連論文リスト

• Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
  本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。 本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。 本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
  論文  参考訳（メタデータ） (2024-08-11T07:01:39Z)
• Multi-Scale Temporal Difference Transformer for Video-Text Retrieval [10.509598789325782]
  マルチスケール時間差変圧器(MSTDT)という変圧器変圧器を提案する。 MSTDTは主に、局所的な時間情報を取得する能力に制限のある従来のトランスフォーマーの欠陥に対処する。 提案手法は,短時間の時間差分変換器と長期の時間差分変換器から構成される。
  論文  参考訳（メタデータ） (2024-06-23T13:59:31Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• UMMAFormer: A Universal Multimodal-adaptive Transformer Framework for Temporal Forgery Localization [16.963092523737593]
  本稿では,時間的フォージェリー・ローカライゼーション(TFL)のための新しいフレームワークを提案し,マルチモーダル適応によるフォルジェリー・セグメントの予測を行う。 提案手法は,Lav-DF,TVIL,Psyndなど,ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-28T08:20:30Z)
• Diagnostic Spatio-temporal Transformer with Faithful Encoding [54.02712048973161]
  本稿では,データ生成プロセスが複合時間(ST)依存性を持つ場合の異常診断の課題について述べる。 我々は、ST依存を時系列分類の副産物として学習する、教師付き依存発見として問題を定式化する。 既存のST変圧器で使用される時間的位置符号化は、高周波数(短時間スケール)の周波数をキャプチャする重大な制限を有することを示す。 また、空間的および時間的方向の両方で容易に消費可能な診断情報を提供する新しいST依存性発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T05:31:23Z)
• PTSEFormer: Progressive Temporal-Spatial Enhanced TransFormer Towards Video Object Detection [28.879484515844375]
  統合強化のための時間情報と空間情報の両方を導入するための進歩的な方法を導入する。 PTSEFormerは、ImageNet VIDデータセットで88.1%のmAPを達成しながら、重い後処理手順を避けるために、エンドツーエンドのスタイルに従っている。
  論文  参考訳（メタデータ） (2022-09-06T06:32:57Z)
• DisCoVQA: Temporal Distortion-Content Transformers for Video Quality Assessment [56.42140467085586]
  いくつかの時間的変動は時間的歪みを引き起こし、余分な品質劣化を引き起こす。 人間の視覚システムは、しばしば異なる内容のフレームに対して異なる注意を向ける。 本稿では, この2つの問題に対処するための, トランスフォーマーを用いたVQA手法を提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:31:27Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
  プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。 時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
  論文  参考訳（メタデータ） (2021-07-16T17:57:44Z)
• Augmented Transformer with Adaptive Graph for Temporal Action Proposal Generation [79.98992138865042]
  TAPGの長期的および局所的時間的コンテキストを利用するための適応グラフネットワーク(ATAG)を備えた拡張トランスを提案する。 具体的には、スニペット動作損失と前部ブロックを装着し、拡張トランスと呼ばれるバニラトランスを強化する。 位置情報と隣接特徴の差異をマイニングすることで局所時間文脈を構築するための適応型グラフ畳み込みネットワーク(gcn)を提案する。
  論文  参考訳（メタデータ） (2021-03-30T02:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。