論文の概要: CAST: Cross-Attention in Space and Time for Video Action Recognition

• arxiv url: http://arxiv.org/abs/2311.18825v2
• Date: Tue, 3 Sep 2024 08:16:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 22:02:40.457851
• Title: CAST: Cross-Attention in Space and Time for Video Action Recognition
• Title（参考訳）: CAST: 空間と時間におけるクロスアテンションとビデオアクション認識
• Authors: Dongho Lee, Jongseo Lee, Jinwoo Choi,
• Abstract要約: 空間時間におけるクロスアテンション(CAST)と呼ばれる新しい2ストリームアーキテクチャを提案する。 CASTは、バランスの取れた入力のみを使用して、ビデオの時間的バランスの取れた理解を実現する。 提案手法により,空間的・時間的専門家モデルによる情報交換と相乗的予測が可能となる。
• 参考スコア（独自算出の注目度）: 8.785207228156098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recognizing human actions in videos requires spatial and temporal understanding. Most existing action recognition models lack a balanced spatio-temporal understanding of videos. In this work, we propose a novel two-stream architecture, called Cross-Attention in Space and Time (CAST), that achieves a balanced spatio-temporal understanding of videos using only RGB input. Our proposed bottleneck cross-attention mechanism enables the spatial and temporal expert models to exchange information and make synergistic predictions, leading to improved performance. We validate the proposed method with extensive experiments on public benchmarks with different characteristics: EPIC-KITCHENS-100, Something-Something-V2, and Kinetics-400. Our method consistently shows favorable performance across these datasets, while the performance of existing methods fluctuates depending on the dataset characteristics.
• Abstract（参考訳）: ビデオにおける人間の行動を認識するには、空間的および時間的理解が必要である。 既存のアクション認識モデルのほとんどは、ビデオの時空間的バランスの取れた理解を欠いている。 本研究では,RGB入力のみを用いたビデオの時空間的バランスの取れた理解を実現する,CAST (Cross-Attention in Space and Time) と呼ばれる新しい2ストリームアーキテクチャを提案する。 提案するボトルネック・クロスアテンション機構により,空間的・時間的専門家モデルによる情報交換と相乗的予測が可能となり,性能が向上する。 本研究では,EPIC-KITCHENS-100, something-Something-V2, Kinetics-400 という,異なる特徴を持つ公開ベンチマークを用いて提案手法の有効性を検証した。 提案手法は,これらのデータセットに対して常に良好な性能を示す一方,既存手法の性能はデータセットの特性に応じて変動する。

関連論文リスト

• Patch Spatio-Temporal Relation Prediction for Video Anomaly Detection [19.643936110623653]
  ビデオ異常検出(VAD)は、特定のコンテキストと時間枠内の異常を識別することを目的としている。 近年の深層学習に基づくVADモデルは,高解像度フレームの生成によって有望な結果を示した。 本稿では, パッチ間関係予測タスクを通じて, VADの自己教師型学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-28T03:07:16Z)
• On the Importance of Spatial Relations for Few-shot Action Recognition [109.2312001355221]
  本稿では,空間的関係の重要性を考察し,より正確な数発アクション認識法を提案する。 新たな空間アライメントクロストランス(SA-CT)は、空間関係を再調整し、時間情報を組み込む。 実験の結果, 時間的情報を使用しなくても, SA-CTの性能は3/4ベンチマークの時間的手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T12:58:02Z)
• Self-Supervised Video Representation Learning via Latent Time Navigation [12.721647696921865]
  自己教師付きビデオ表現学習は、1つのビデオの異なる時間セグメント間の類似性を最大化することを目的としている。 微粒な動きを捉えるために、LTN(Latent Time Navigation)を提案する。 実験により,LTNによる映像表現の学習は,動作分類の性能を一貫して向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-10T20:06:17Z)
• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
  3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。 我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。 提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
  論文  参考訳（メタデータ） (2021-10-05T15:39:11Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• Is Space-Time Attention All You Need for Video Understanding? [50.78676438502343]
  空間と時間の自己意識にのみ焦点をあてた畳み込みのないアプローチを提案する。 TimeSformer"は、フレームレベルのパッチのシーケンスから特徴学習を可能にすることで、標準のTransformerアーキテクチャをビデオに適応させる。 TimeSformerは、いくつかの主要なアクション認識ベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2021-02-09T19:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。