論文の概要: Align before Adapt: Leveraging Entity-to-Region Alignments for Generalizable Video Action Recognition

• arxiv url: http://arxiv.org/abs/2311.15619v3
• Date: Wed, 20 Mar 2024 18:27:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 12:50:46.144671
• Title: Align before Adapt: Leveraging Entity-to-Region Alignments for Generalizable Video Action Recognition
• Title（参考訳）: 適応前のアライメント: 一般化可能なビデオアクション認識のためのEntity-to-Regionアライメントの活用
• Authors: Yifei Chen, Dapeng Chen, Ruijin Liu, Sai Zhou, Wenyuan Xue, Wei Peng,
• Abstract要約: 本稿では,ビデオ表現学習のための新しいパラダイム"Align before Adapt"(ALT)を提案する。 我々は各フレームのエンティティ・ツー・リージョンのアライメントを利用して、領域認識画像の埋め込みをオフラインで構築したテキストコーパスにマッチングすることでアライメントを実現する。 ALTは計算コストを著しく低く保ちながら、競争性能を示す。
• 参考スコア（独自算出の注目度）: 16.828560953073495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale visual-language pre-trained models have achieved significant success in various video tasks. However, most existing methods follow an "adapt then align" paradigm, which adapts pre-trained image encoders to model video-level representations and utilizes one-hot or text embedding of the action labels for supervision. This paradigm overlooks the challenge of mapping from static images to complicated activity concepts. In this paper, we propose a novel "Align before Adapt" (ALT) paradigm. Prior to adapting to video representation learning, we exploit the entity-to-region alignments for each frame. The alignments are fulfilled by matching the region-aware image embeddings to an offline-constructed text corpus. With the aligned entities, we feed their text embeddings to a transformer-based video adapter as the queries, which can help extract the semantics of the most important entities from a video to a vector. This paradigm reuses the visual-language alignment of VLP during adaptation and tries to explain an action by the underlying entities. This helps understand actions by bridging the gap with complex activity semantics, particularly when facing unfamiliar or unseen categories. ALT demonstrates competitive performance while maintaining remarkably low computational costs. In fully supervised experiments, it achieves 88.1% top-1 accuracy on Kinetics-400 with only 4947 GFLOPs. Moreover, ALT outperforms the previous state-of-the-art methods in both zero-shot and few-shot experiments, emphasizing its superior generalizability across various learning scenarios.
• Abstract（参考訳）: 大規模視覚言語事前学習モデルは様々なビデオタスクで大きな成功を収めた。 しかし、既存のほとんどの手法は、訓練済みの画像エンコーダをビデオレベルの表現のモデル化に適応させ、アクションラベルのワンホットまたはテキスト埋め込みを監督に利用する「適応的整合」パラダイムに従っている。 このパラダイムは、静的イメージから複雑なアクティビティ概念へのマッピングという課題を見落としている。 本稿では,Align before Adapt(ALT)パラダイムを提案する。 ビデオ表現学習に適応する前に、各フレームのエンティティ・ツー・リージョンアライメントを利用する。 このアライメントは、領域認識された画像埋め込みをオフラインで構築されたテキストコーパスにマッチングすることで達成される。 一致したエンティティを用いて、変換器ベースのビデオアダプタにテキスト埋め込みをクエリとして送り、ビデオからベクターへの最も重要なエンティティのセマンティクスの抽出に役立てる。 このパラダイムは、適応中のVLPの視覚言語アライメントを再利用し、基礎となるエンティティによるアクションを説明しようとする。 これは複雑なアクティビティセマンティクスとのギャップを埋めることによって、アクションを理解するのに役立つ。 ALTは計算コストを著しく低く保ちながら、競争性能を示す。 完全に監督された実験では、キネティクス400で88.1%の精度で4947 GFLOPを達成している。 さらに、ALTはゼロショットと少数ショットの両方の実験において従来の最先端の手法よりも優れており、様々な学習シナリオにおける優れた一般化性を強調している。

関連論文リスト

• Open-Vocabulary Spatio-Temporal Action Detection [59.91046192096296]
  OV-STAD (Open-vocabulary-temporal action detection) は,ビデオ理解において重要な課題である。 OV-STADは、ボックスとラベルを監督する限定されたベースクラスでモデルをトレーニングする必要がある。 局所的なビデオ領域とテキストのペアに対して、細かなアクション検出タスクに対して、より精巧なVLMを適用するために、慎重に微調整を行う。
  論文  参考訳（メタデータ） (2024-05-17T14:52:47Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• Contrastive Vision-Language Alignment Makes Efficient Instruction Learner [31.281236193979165]
  本研究では,大規模言語モデル(LLM)を視覚言語命令追従モデルに拡張する作業について検討する。 既存の方法では、視覚アダプタを訓練して、前訓練された視覚変換器(ViT)とLLMの間の表現を、生成的な画像キャプション損失によって整列させるのが一般的である。 比較的および生成的アライメントの目的を適用し, ViT と LLM の表現を効果的に整合させる CG-VLM を提案する。
  論文  参考訳（メタデータ） (2023-11-29T03:29:46Z)
• Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer [79.20605034378187]
  ビデオ言語事前学習モデルは、ビデオ質問応答タスクの指導において顕著な成功を収めている。 ビデオシーケンスの長さのため、大規模なビデオベースモデルのトレーニングは、画像ベースモデルのトレーニングよりもかなりコストがかかる。 これは、画像ドメインとビデオドメインの間に明らかなギャップがあるにもかかわらず、画像ベースの事前学習からの知識を活用する動機となります。
  論文  参考訳（メタデータ） (2023-08-16T15:00:50Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)
• Part-level Action Parsing via a Pose-guided Coarse-to-Fine Framework [108.70949305791201]
  パートレベルのアクションパーシング(PAP)は、ビデオレベルのアクションを予測するだけでなく、ビデオ内の各人に対するフレームレベルのきめ細かいアクションやインタラクションを認識することを目的としている。 特に,本フレームワークは,まず入力ビデオの映像レベルのクラスを予測し,次に身体部位をローカライズし,部分レベルの動作を予測する。 我々のフレームワークは最先端のパフォーマンスを達成し、既存の手法を31.10%のROCスコアで上回ります。
  論文  参考訳（メタデータ） (2022-03-09T01:30:57Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• Prompting Visual-Language Models for Efficient Video Understanding [28.754997650215486]
  本稿では,事前学習した1つの視覚言語モデルを,最小限のトレーニングで新しいタスクに効果的に適応させる方法を提案する。 静的画像とビデオのギャップを埋めるために、フレームワイドの視覚的特徴の上に軽量なトランスフォーマーを積み重ねたテンポラリな情報をエンコードする。
  論文  参考訳（メタデータ） (2021-12-08T18:58:16Z)
• ActionCLIP: A New Paradigm for Video Action Recognition [14.961103794667341]
  ラベルテキストのセマンティック情報に重きを置くことで,行動認識の新しい視点を提供する。 動作認識のためのマルチモーダル学習フレームワークに基づく新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2021-09-17T11:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。