論文の概要: Open-Vocabulary Spatio-Temporal Action Detection

• arxiv url: http://arxiv.org/abs/2405.10832v1
• Date: Fri, 17 May 2024 14:52:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 15:53:32.530162
• Title: Open-Vocabulary Spatio-Temporal Action Detection
• Title（参考訳）: Open-Vocabulary Spatio-Temporal Action Detection
• Authors: Tao Wu, Shuqiu Ge, Jie Qin, Gangshan Wu, Limin Wang,
• Abstract要約: OV-STAD (Open-vocabulary-temporal action detection) は,ビデオ理解において重要な課題である。 OV-STADは、ボックスとラベルを監督する限定されたベースクラスでモデルをトレーニングする必要がある。 局所的なビデオ領域とテキストのペアに対して、細かなアクション検出タスクに対して、より精巧なVLMを適用するために、慎重に微調整を行う。
• 参考スコア（独自算出の注目度）: 59.91046192096296
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spatio-temporal action detection (STAD) is an important fine-grained video understanding task. Current methods require box and label supervision for all action classes in advance. However, in real-world applications, it is very likely to come across new action classes not seen in training because the action category space is large and hard to enumerate. Also, the cost of data annotation and model training for new classes is extremely high for traditional methods, as we need to perform detailed box annotations and re-train the whole network from scratch. In this paper, we propose a new challenging setting by performing open-vocabulary STAD to better mimic the situation of action detection in an open world. Open-vocabulary spatio-temporal action detection (OV-STAD) requires training a model on a limited set of base classes with box and label supervision, which is expected to yield good generalization performance on novel action classes. For OV-STAD, we build two benchmarks based on the existing STAD datasets and propose a simple but effective method based on pretrained video-language models (VLM). To better adapt the holistic VLM for the fine-grained action detection task, we carefully fine-tune it on the localized video region-text pairs. This customized fine-tuning endows the VLM with better motion understanding, thus contributing to a more accurate alignment between video regions and texts. Local region feature and global video feature fusion before alignment is adopted to further improve the action detection performance by providing global context. Our method achieves a promising performance on novel classes.
• Abstract（参考訳）: 時空間行動検出(STAD)はビデオ理解の重要なタスクである。 現在の手法では、事前にすべてのアクションクラスのボックスとラベルの監督が必要である。 しかし、実世界のアプリケーションでは、アクションカテゴリ空間が大きくて列挙が難しいため、トレーニングで見られない新しいアクションクラスに遭遇する可能性が非常に高い。 また、新しいクラスのデータアノテーションとモデルトレーニングのコストは、詳細なボックスアノテーションを実行し、ネットワーク全体をスクラッチから再トレーニングする必要があるため、従来のメソッドでは極めて高いです。 本稿では,オープンな世界における行動検出の状況をよりよく模倣するために,オープンな語彙STADを実行することで,新たな挑戦的設定を提案する。 Open-vocabulary Spatio-temporal Action Detection (OV-STAD) では,ボックスとラベルの監督による限定されたベースクラス上でモデルをトレーニングする必要がある。 OV-STADでは、既存のSTADデータセットに基づく2つのベンチマークを構築し、事前訓練されたビデオ言語モデル(VLM)に基づく単純で効果的な手法を提案する。 局所的なビデオ領域とテキストのペアに対して、細かなアクション検出タスクに対して、より精巧なVLMを適用するために、慎重に微調整を行う。 このカスタマイズされた微調整により、VLMはモーション理解を向上し、ビデオ領域とテキスト間のより正確なアライメントに寄与する。 グローバルコンテキストを提供することで、アクション検出性能をさらに向上するために、アライメント前の地域特徴とグローバルビデオ特徴融合を採用する。 本手法は,新しい授業における有望なパフォーマンスを実現する。

関連論文リスト

• ActPrompt: In-Domain Feature Adaptation via Action Cues for Video Temporal Grounding [40.60371529725805]
  本稿では,機能適応のためのドメイン内ファインチューニングのパラダイムを提案する。 本稿では, VLMのイメージエンコーダにアクションキューを注入し, アクションに敏感なパターンの発見に役立てるアクションキュー注入型テンポラルプロンプト学習(ActPrompt)を提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Open-Vocabulary Temporal Action Localization using Multimodal Guidance [67.09635853019005]
  OVTALでは、すべてのカテゴリのトレーニングデータを明示的にキュレートすることなく、任意のアクションカテゴリをビデオで認識することができる。 この柔軟性は、トレーニング中に見られるアクションカテゴリだけでなく、推論で指定された新しいカテゴリも認識しなければならないため、大きな課題を引き起こす。 我々は,ActionFormerを拡張した新しいオープン語彙フレームワークであるOVFormerを紹介した。
  論文  参考訳（メタデータ） (2024-06-21T18:00:05Z)
• Test-Time Zero-Shot Temporal Action Localization [58.84919541314969]
  ZS-TALは、トレーニング中に目に見えないビデオのアクションを特定し、見つけようとしている。 トレーニングベースのZS-TALアプローチは、教師あり学習のためのラベル付きデータの可用性を前提としている。 時間的行動ローカライゼーション(T3AL)のためのテスト時間適応を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T11:54:49Z)
• Harnessing Large Language Models for Training-free Video Anomaly Detection [34.76811491190446]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を時間的に検出することを目的としている。 トレーニングベースのメソッドはドメイン固有のものになりがちなので、実践的なデプロイメントにはコストがかかる。 Language-based VAD (LAVAD)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T09:34:55Z)
• Semi-supervised Active Learning for Video Action Detection [8.110693267550346]
  我々はラベル付きデータとラベルなしデータの両方を利用する、新しい半教師付きアクティブラーニング手法を開発した。 提案手法は,UCF-24-101,JHMDB-21,Youtube-VOSの3種類のベンチマークデータセットに対して評価を行った。
  論文  参考訳（メタデータ） (2023-12-12T11:13:17Z)
• Dense Video Object Captioning from Disjoint Supervision [77.47084982558101]
  本稿では,高密度ビデオオブジェクトキャプションのための新しいタスクとモデルを提案する。 このタスクは、ビデオにおける空間的および時間的局所化を統一する。 我々は、この新しいタスクの強力なベースラインにおいて、我々のモデルがどのように改善されているかを示す。
  論文  参考訳（メタデータ） (2023-06-20T17:57:23Z)
• Active Learning with Effective Scoring Functions for Semi-Supervised Temporal Action Localization [15.031156121516211]
  本稿では,半教師型talという,滅多に研究されていない実践的な課題に焦点を当てる。 本稿では,AL-STALという効果的な能動学習手法を提案する。 実験の結果,AL-STALは既存の競争相手よりも優れ,完全教師付き学習と比較して満足度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-08-31T13:39:38Z)
• Few-Shot Temporal Action Localization with Query Adaptive Transformer [105.84328176530303]
  TALの作品は、セグメントレベルのアノテーションを徹底した、多数のトレーニングビデオに依存している。 Few-shot TALは、モデルを1つのビデオで表される新しいクラスに適応させることを目的としている。
  論文  参考訳（メタデータ） (2021-10-20T13:18:01Z)
• Few-Shot Action Localization without Knowing Boundaries [9.959844922120523]
  対象のアクションの1/2のトリミング例がテスト時にのみ利用可能である場合,未トリミングビデオ中のアクションのローカライズを学習可能であることを示す。 ビデオのペア間の微細な類似パターンをモデル化した時間的類似度行列(TSM)を推定するネットワークを提案する。 提案手法は,最先端の完全教師付き,少数ショットの学習手法に匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2021-06-08T07:32:43Z)
• Weakly Supervised Temporal Action Localization Through Learning Explicit Subspaces for Action and Context [151.23835595907596]
  ビデオレベルの監視のみの下で、アクションインスタンスの時間的開始と終了をローカライズする方法を学ぶ。 アクションとコンテキストそれぞれについて,2つの機能サブスペースを学習するフレームワークを提案する。 提案手法は3つのベンチマークで最先端のWS-TAL法より優れている。
  論文  参考訳（メタデータ） (2021-03-30T08:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。