論文の概要: Building a Multi-modal Spatiotemporal Expert for Zero-shot Action Recognition with CLIP

• arxiv url: http://arxiv.org/abs/2412.09895v1
• Date: Fri, 13 Dec 2024 06:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:02:54.878637
• Title: Building a Multi-modal Spatiotemporal Expert for Zero-shot Action Recognition with CLIP
• Title（参考訳）: CLIPを用いたゼロショット動作認識のためのマルチモーダル時空間エキスパートの構築
• Authors: Yating Yu, Congqi Cao, Yueran Zhang, Qinyi Lv, Lingtong Min, Yanning Zhang,
• Abstract要約: マルチテンポラルダイナミクスを理解するための新しいCLIフレームワークを提案する。 視覚面では,効率的なダイナミック・クロスショット・アテンションを提案する。 セマンティック側では、アクション知識グラフを構築してテキスト拡張を行う。
• 参考スコア（独自算出の注目度）: 34.88916568947695
• License:
• Abstract: Zero-shot action recognition (ZSAR) requires collaborative multi-modal spatiotemporal understanding. However, finetuning CLIP directly for ZSAR yields suboptimal performance, given its inherent constraints in capturing essential temporal dynamics from both vision and text perspectives, especially when encountering novel actions with fine-grained spatiotemporal discrepancies. In this work, we propose Spatiotemporal Dynamic Duo (STDD), a novel CLIP-based framework to comprehend multi-modal spatiotemporal dynamics synergistically. For the vision side, we propose an efficient Space-time Cross Attention, which captures spatiotemporal dynamics flexibly with simple yet effective operations applied before and after spatial attention, without adding additional parameters or increasing computational complexity. For the semantic side, we conduct spatiotemporal text augmentation by comprehensively constructing an Action Semantic Knowledge Graph (ASKG) to derive nuanced text prompts. The ASKG elaborates on static and dynamic concepts and their interrelations, based on the idea of decomposing actions into spatial appearances and temporal motions. During the training phase, the frame-level video representations are meticulously aligned with prompt-level nuanced text representations, which are concurrently regulated by the video representations from the frozen CLIP to enhance generalizability. Extensive experiments validate the effectiveness of our approach, which consistently surpasses state-of-the-art approaches on popular video benchmarks (i.e., Kinetics-600, UCF101, and HMDB51) under challenging ZSAR settings. Code is available at https://github.com/Mia-YatingYu/STDD.
• Abstract（参考訳）: Zero-shot Action Recognition (ZSAR) は、協調的なマルチモーダル時空間理解を必要とする。 しかし、ZSARを直接微調整するCLIPは、視覚とテキストの両面から重要な時間的ダイナミクスを捉えることに固有の制約があるため、特に微粒な時空間的不一致を伴う新規なアクションに遭遇する際には、準最適性能が得られる。 本研究では,マルチモーダルな時空間力学を相乗的に理解するための新しいCLIPベースのフレームワークである時空間動的デュオ(STDD)を提案する。 視覚面では,空間的注意力の付加や計算複雑性の増大を伴わずに,空間的注意の前後で適用された単純かつ効果的な操作によって時空間力学を柔軟に捉える,効率的な時空間交差注意法を提案する。 意味的側面については,文プロンプトを導出するための行動意味知識グラフ (ASKG) を包括的に構築し,時空間的テキスト拡張を行う。 ASKGは、アクションを空間的な外観と時間的な動きに分解するという考え方に基づいて、静的および動的概念とそれらの相互関係について詳しく述べている。 トレーニング期間中、フレームレベルの映像表現は、凍結されたCLIPのビデオ表現によって同時に制御される即時レベルのニュアンス付きテキスト表現と慎重に整合し、一般化性を高める。 広汎な実験により、ZSAR設定に挑戦する上で、一般的なビデオベンチマーク(Kinetics-600, UCF101, HMDB51)の最先端アプローチを一貫して超越したアプローチの有効性が検証された。 コードはhttps://github.com/Mia-YatingYu/STDDで入手できる。

関連論文リスト

• ARN-LSTM: A Multi-Stream Fusion Model for Skeleton-based Action Recognition [5.86850933017833]
  ARN-LSTMアーキテクチャは、アクションシーケンスにおける空間運動と時間ダイナミクスを同時にキャプチャする課題に対処するために設計されている。 提案モデルでは, 複数ストリーム融合アーキテクチャを用いて, 関節, 動き, 時間情報を統合する。
  論文  参考訳（メタデータ） (2024-11-04T03:29:51Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition [68.6707284662443]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的および静的なシーンの復元を目指している。 1つの重要な側面は、時間空間照明と外観強化バージョンに特化した一貫性の制約を定式化することである。 本稿では,レチネックスを基盤とした革新的なビデオ分解戦略について述べる。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• MA-FSAR: Multimodal Adaptation of CLIP for Few-Shot Action Recognition [41.78245303513613]
  我々は,行動に関連する時間的および意味的表現の観点からCLIP視覚エンコーダを強化するために,Fine-Tuning(PEFT)技術を利用するフレームワークであるMA-FSARを紹介する。 これらのトークンレベルの設計に加えて,ビデオプロトタイプの時間的・意味的特性をさらに強化するプロトタイプレベルのテキストガイド構築モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-03T04:17:25Z)
• Implicit Temporal Modeling with Learnable Alignment for Video Recognition [95.82093301212964]
  本稿では,極めて高い性能を達成しつつ,時間的モデリングの労力を最小限に抑える新しいImplicit Learnable Alignment(ILA)法を提案する。 ILAはKineetics-400の88.7%で、Swin-LやViViT-Hに比べてFLOPははるかに少ない。
  論文  参考訳（メタデータ） (2023-04-20T17:11:01Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition [12.601122522537459]
  骨格に基づく行動のより豊富な表現を学習するための新しいSDS-CL(Stemporal Deouple Contrastive Learning)フレームワークを提案する。 我々は,新しいテンポラル・スクイージング・ロス(STL),新しいテンポラル・スクイージング・ロス(TSL),およびグローバル・コントラスト・ロス(GL)を,フレームレベルでの空間的スクイージング関節と運動の特徴,関節レベルでの時間的スクイージング関節と運動の特徴,および骨格レベルでのグローバルな関節と運動特徴とを対比するために提示する。
  論文  参考訳（メタデータ） (2023-02-05T06:52:25Z)
• Slow-Fast Visual Tempo Learning for Video-based Action Recognition [78.3820439082979]
  アクション・ビジュアル・テンポ(Action visual tempo)は、アクションのダイナミクスと時間スケールを特徴付ける。 以前の方法は、複数のレートで生のビデオをサンプリングするか、階層的にバックボーンの特徴をサンプリングすることによって、視覚的テンポをキャプチャする。 単一層における低レベルバックボーン特徴からアクション・テンポを抽出するための時間相関モジュール(TCM)を提案する。
  論文  参考訳（メタデータ） (2022-02-24T14:20:04Z)
• Learning Self-Similarity in Space and Time as Generalized Motion for Action Recognition [42.175450800733785]
  ビデオ自己相似性(STSS)に基づくリッチな動き表現を提案する。 stssのボリューム全体を活用し、モデルに効果的なモーション表現を抽出させるようにしています。 SELFYと呼ばれる提案された神経ブロックは、追加の監督なしに簡単に神経アーキテクチャに挿入し、エンドツーエンドで訓練することができます。
  論文  参考訳（メタデータ） (2021-02-14T07:32:55Z)
• Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
  時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。 Squeeze Re Temporal Gates (SRTG) を導入する。 SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
  論文  参考訳（メタデータ） (2020-06-15T09:36:28Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。