論文の概要: Generating Action-conditioned Prompts for Open-vocabulary Video Action Recognition

• arxiv url: http://arxiv.org/abs/2312.02226v1
• Date: Mon, 4 Dec 2023 02:31:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 18:12:31.821495
• Title: Generating Action-conditioned Prompts for Open-vocabulary Video Action Recognition
• Title（参考訳）: オープン語彙ビデオ行動認識のための行動条件付きプロンプトの生成
• Authors: Chengyou Jia, Minnan Luo, Xiaojun Chang, Zhuohang Dang, Mingfei Han, Mengmeng Wang, Guang Dai, Sizhe Dang, Jingdong Wang
• Abstract要約: 既存の方法は、訓練済みの画像テキストモデルをビデオ領域に適応させるのが一般的である。 我々は、人間の事前知識によるテキスト埋め込みの強化が、オープン語彙のビデオ行動認識の鍵となると論じている。 提案手法は,新たなSOTA性能を設定できるだけでなく,解釈性にも優れる。
• 参考スコア（独自算出の注目度）: 63.95111791861103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploring open-vocabulary video action recognition is a promising venture, which aims to recognize previously unseen actions within any arbitrary set of categories. Existing methods typically adapt pretrained image-text models to the video domain, capitalizing on their inherent strengths in generalization. A common thread among such methods is the augmentation of visual embeddings with temporal information to improve the recognition of seen actions. Yet, they compromise with standard less-informative action descriptions, thus faltering when confronted with novel actions. Drawing inspiration from human cognitive processes, we argue that augmenting text embeddings with human prior knowledge is pivotal for open-vocabulary video action recognition. To realize this, we innovatively blend video models with Large Language Models (LLMs) to devise Action-conditioned Prompts. Specifically, we harness the knowledge in LLMs to produce a set of descriptive sentences that contain distinctive features for identifying given actions. Building upon this foundation, we further introduce a multi-modal action knowledge alignment mechanism to align concepts in video and textual knowledge encapsulated within the prompts. Extensive experiments on various video benchmarks, including zero-shot, few-shot, and base-to-novel generalization settings, demonstrate that our method not only sets new SOTA performance but also possesses excellent interpretability.
• Abstract（参考訳）: オープン・ボキャブラリ・ビデオのアクション認識を探求することは有望なベンチャーであり、あらゆるカテゴリーでこれまで目に見えないアクションを認識することを目指している。 既存の手法では、通常、訓練済みの画像テキストモデルをビデオ領域に適応させ、一般化における固有の強みを活かす。 このような方法の一般的なスレッドは、見るアクションの認識を改善するために、時間的情報を含む視覚埋め込みの強化である。 しかし、彼らは標準的な非形式的な行動記述と妥協し、新しい行動に直面すると混乱する。 人間の認知プロセスからインスピレーションを得て、人間の事前知識にテキストを埋め込むことが、オープン語彙のビデオ行動認識の鍵となると論じる。 これを実現するために,ビデオモデルとLarge Language Models (LLMs)を併用して,アクション条件付きプロンプトを考案する。 具体的には、LLMの知識を利用して、与えられた行動を特定するための特徴を含む記述文の集合を生成する。 この基盤を基盤として,プロンプト内にカプセル化されたビデオおよびテキスト知識の概念を整列する多モーダル行動知識アライメント機構を導入する。 zero-shot, few-shot, base-to-novel の一般化設定を含む様々なビデオベンチマークに関する広範囲な実験により,本手法が新たな sota 性能を設定するだけでなく,優れた解釈性を有することを証明した。

関連論文リスト

• Open-Set Video-based Facial Expression Recognition with Human Expression-sensitive Prompting [28.673734895558322]
  本稿では,未知の表情と未知の表情の両方を識別することを目的とした,オープンセット映像に基づく表情認識タスクを提案する。 既存のアプローチでは、CLIPのような大規模な視覚言語モデルを使用して、目に見えないクラスを特定する。 本稿では,CLIPの映像ベース表情詳細を効果的にモデル化する能力を大幅に向上させる新しいHuman Expression-Sensitive Prompting(HESP)機構を提案する。
  論文  参考訳（メタデータ） (2024-04-26T01:21:08Z)
• A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot [67.00455874279383]
  そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。 提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。 ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
  論文  参考訳（メタデータ） (2023-05-16T19:13:11Z)
• Implicit and Explicit Commonsense for Multi-sentence Video Captioning [33.969215964292395]
  本稿では,暗黙的(視覚言語と純粋言語)と明示的(知識ベース)のコモンセンス知識を考慮に入れた,トランスフォーマーに基づく新しいビデオキャプションモデルを提案する。 我々は,これらの形態の知識が,単独で,かつ組み合わせて,生成したキャプションの品質を高めることを示す。
  論文  参考訳（メタデータ） (2023-03-14T00:19:11Z)
• Bidirectional Cross-Modal Knowledge Exploration for Video Recognition with Pre-trained Vision-Language Models [149.1331903899298]
  本稿では,双方向の知識を探索するクロスモーダルブリッジを用いた,BIKEと呼ばれる新しいフレームワークを提案する。 本研究では,テキスト・トゥ・ビデオの専門知識を用いて時間的サリエンシをパラメータフリーでキャプチャする時間的概念スポッティング機構を提案する。 我々の最良のモデルは、リリースしたCLIPモデルを使用して、Kinetics-400の挑戦に対して、最先端の精度88.6%を達成する。
  論文  参考訳（メタデータ） (2022-12-31T11:36:53Z)
• Knowledge Prompting for Few-shot Action Recognition [20.973999078271483]
  本稿では,知識プロンプトと呼ばれるシンプルで効果的な手法を提案し,数発の分類のための強力な視覚言語モデルを提案する。 まず、アクションの大規模言語記述をテキスト提案として定義し、アクション知識ベースを構築する。 我々は、これらのテキスト提案をビデオフレームと共に事前学習された視覚言語モデルに入力し、各フレームに対する提案の一致するスコアを生成する。 6つのベンチマークデータセットに対する大規模な実験により、我々の手法は一般に最先端の性能を達成し、訓練のオーバーヘッドを0.001に減らした。
  論文  参考訳（メタデータ） (2022-11-22T06:05:17Z)
• CLOP: Video-and-Language Pre-Training with Knowledge Regularizations [43.09248976105326]
  ビデオと言語による事前学習は、一般化可能な表現を学習するための有望な結果を示している。 このような表現形式を構造的知識として表現し、複数の粒度のリッチな意味論を表現する。 知識正規化を用いたCLOP(Cross-modaL knedgeOwl-enhanced Pre-training)法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T05:32:12Z)
• Learning Transferable Spatiotemporal Representations from Natural Script Knowledge [65.40899722211726]
  本稿では,ASR(TVTS)のためのビデオトランスクリプト(Turning to Video Transcript for ASR)を提案する。 この利点により、我々のモデルは人間のように起きていることを文脈化し、現実世界の大規模未計算ビデオデータにシームレスに適用することができる。
  論文  参考訳（メタデータ） (2022-09-30T07:39:48Z)
• Prompting Visual-Language Models for Efficient Video Understanding [28.754997650215486]
  本稿では,事前学習した1つの視覚言語モデルを,最小限のトレーニングで新しいタスクに効果的に適応させる方法を提案する。 静的画像とビデオのギャップを埋めるために、フレームワイドの視覚的特徴の上に軽量なトランスフォーマーを積み重ねたテンポラリな情報をエンコードする。
  論文  参考訳（メタデータ） (2021-12-08T18:58:16Z)
• Intra- and Inter-Action Understanding via Temporal Action Parsing [118.32912239230272]
  本研究では,スポーツビデオにサブアクションの手動アノテーションを付加した新しいデータセットを構築し,その上に時間的行動解析を行う。 スポーツ活動は通常、複数のサブアクションから構成されており、このような時間構造に対する意識は、行動認識に有益であることを示す。 また,時間的解析手法を多数検討し,そのラベルを知らずにトレーニングデータからサブアクションをマイニングできる改良手法を考案した。
  論文  参考訳（メタデータ） (2020-05-20T17:45:18Z)
• A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos [126.66212285239624]
  本稿では,調理ビデオから抽出した構造化手続き的知識のベンチマークを提案する。 手動で注釈付けしたオープン語彙リソースには、356の指導的調理ビデオと15,523のビデオクリップ/文レベルのアノテーションが含まれています。
  論文  参考訳（メタデータ） (2020-05-02T05:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。