論文の概要: Enhancing Spatio-Temporal Zero-shot Action Recognition with Language-driven Description Attributes
- arxiv url: http://arxiv.org/abs/2510.27255v2
- Date: Mon, 03 Nov 2025 07:33:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-04 14:12:28.029733
- Title: Enhancing Spatio-Temporal Zero-shot Action Recognition with Language-driven Description Attributes
- Title（参考訳）: 言語駆動型記述属性による時空間ゼロショット動作認識の強化
- Authors: Yehna Kim, Young-Eun Kim, Seong-Whan Lee,
- Abstract要約: 提案手法は,大規模言語モデルを用いて関連キーワードを抽出し,Webcrawled 記述を活用する革新的な手法である。
この方法は、人間のアノテーションの必要性を減らし、属性データ作成の面倒な手作業を取り除く。
ゼロショット実験では,UCF-101,HMDB-51,Kineetics-600で81.0%,53.1%,68.9%の精度を達成した。
- 参考スコア（独自算出の注目度）: 54.50887214639301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) have demonstrated impressive capabilities in zero-shot action recognition by learning to associate video embeddings with class embeddings. However, a significant challenge arises when relying solely on action classes to provide semantic context, particularly due to the presence of multi-semantic words, which can introduce ambiguity in understanding the intended concepts of actions. To address this issue, we propose an innovative approach that harnesses web-crawled descriptions, leveraging a large-language model to extract relevant keywords. This method reduces the need for human annotators and eliminates the laborious manual process of attribute data creation. Additionally, we introduce a spatio-temporal interaction module designed to focus on objects and action units, facilitating alignment between description attributes and video content. In our zero-shot experiments, our model achieves impressive results, attaining accuracies of 81.0%, 53.1%, and 68.9% on UCF-101, HMDB-51, and Kinetics-600, respectively, underscoring the model's adaptability and effectiveness across various downstream tasks.
- Abstract（参考訳）: VLM(Vision-Language Models)は、ビデオ埋め込みとクラス埋め込みを関連付けることを学ぶことで、ゼロショット動作認識における印象的な能力を実証した。
しかし、アクションクラスにのみ依存して意味的コンテキストを提供する場合、特にアクションの意図された概念を理解する上で曖昧さをもたらす多意味な単語が存在するため、大きな課題が生じる。
この問題に対処するために,大規模な言語モデルを用いて関連するキーワードを抽出する,Webcrawled descriptionsを活用する革新的なアプローチを提案する。
この方法は、人間のアノテーションの必要性を減らし、属性データ作成の面倒な手作業を取り除く。
さらに、オブジェクトとアクションユニットに焦点を当てた時空間対話モジュールを導入し、記述属性と映像コンテンツのアライメントを容易にする。
ゼロショット実験では,UCF-101, HMDB-51, Kinetics-600において, 81.0%, 53.1%, 68.9%の精度が得られた。
関連論文リスト
- Modeling Fine-Grained Hand-Object Dynamics for Egocentric Video Representation Learning [71.02843679746563]
エゴセントリックなビデオ理解では、手や物体の動きと相互作用は自然によって重要な役割を果たす。
本研究では,細粒度ハンドオブジェクトのモデリングをビデオ表現学習プロセスに統合することを目的とする。
EgoVideoは,手の動き情報を微粒化するための,新しい軽量モーションアダプタを備えたモデルである。
論文 参考訳（メタデータ） (2025-03-02T18:49:48Z) - Text-Enhanced Zero-Shot Action Recognition: A training-free approach [13.074211474150914]
ゼロショット映像行動認識のためのテキスト強調行動認識(TEAR)を提案する。
TEARはトレーニングフリーであり、トレーニングデータや広範な計算資源の可用性を必要としない。
論文 参考訳（メタデータ） (2024-08-29T10:20:05Z) - Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。
同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。
提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
論文 参考訳（メタデータ） (2024-08-28T17:59:05Z) - An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。
従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。
強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-06-02T06:53:01Z) - Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。
クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。
我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
論文 参考訳（メタデータ） (2024-03-13T11:23:55Z) - Generating Action-conditioned Prompts for Open-vocabulary Video Action
Recognition [63.95111791861103]
既存の方法は、訓練済みの画像テキストモデルをビデオ領域に適応させるのが一般的である。
我々は、人間の事前知識によるテキスト埋め込みの強化が、オープン語彙のビデオ行動認識の鍵となると論じている。
提案手法は,新たなSOTA性能を設定できるだけでなく,解釈性にも優れる。
論文 参考訳（メタデータ） (2023-12-04T02:31:38Z) - A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In
Zero Shot [67.00455874279383]
そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。
提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。
ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
論文 参考訳（メタデータ） (2023-05-16T19:13:11Z) - Knowledge Prompting for Few-shot Action Recognition [20.973999078271483]
本稿では,知識プロンプトと呼ばれるシンプルで効果的な手法を提案し,数発の分類のための強力な視覚言語モデルを提案する。
まず、アクションの大規模言語記述をテキスト提案として定義し、アクション知識ベースを構築する。
我々は、これらのテキスト提案をビデオフレームと共に事前学習された視覚言語モデルに入力し、各フレームに対する提案の一致するスコアを生成する。
6つのベンチマークデータセットに対する大規模な実験により、我々の手法は一般に最先端の性能を達成し、訓練のオーバーヘッドを0.001に減らした。
論文 参考訳（メタデータ） (2022-11-22T06:05:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。