論文の概要: Test-Time Zero-Shot Temporal Action Localization

• arxiv url: http://arxiv.org/abs/2404.05426v1
• Date: Mon, 8 Apr 2024 11:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 14:34:53.559402
• Title: Test-Time Zero-Shot Temporal Action Localization
• Title（参考訳）: テスト時間ゼロショット時間行動定位
• Authors: Benedetta Liberatori, Alessandro Conti, Paolo Rota, Yiming Wang, Elisa Ricci,
• Abstract要約: ZS-TALは、トレーニング中に目に見えないビデオのアクションを特定し、見つけようとしている。 トレーニングベースのZS-TALアプローチは、教師あり学習のためのラベル付きデータの可用性を前提としている。 時間的行動ローカライゼーション(T3AL)のためのテスト時間適応を行う新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 58.84919541314969
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Zero-Shot Temporal Action Localization (ZS-TAL) seeks to identify and locate actions in untrimmed videos unseen during training. Existing ZS-TAL methods involve fine-tuning a model on a large amount of annotated training data. While effective, training-based ZS-TAL approaches assume the availability of labeled data for supervised learning, which can be impractical in some applications. Furthermore, the training process naturally induces a domain bias into the learned model, which may adversely affect the model's generalization ability to arbitrary videos. These considerations prompt us to approach the ZS-TAL problem from a radically novel perspective, relaxing the requirement for training data. To this aim, we introduce a novel method that performs Test-Time adaptation for Temporal Action Localization (T3AL). In a nutshell, T3AL adapts a pre-trained Vision and Language Model (VLM). T3AL operates in three steps. First, a video-level pseudo-label of the action category is computed by aggregating information from the entire video. Then, action localization is performed adopting a novel procedure inspired by self-supervised learning. Finally, frame-level textual descriptions extracted with a state-of-the-art captioning model are employed for refining the action region proposals. We validate the effectiveness of T3AL by conducting experiments on the THUMOS14 and the ActivityNet-v1.3 datasets. Our results demonstrate that T3AL significantly outperforms zero-shot baselines based on state-of-the-art VLMs, confirming the benefit of a test-time adaptation approach.
• Abstract（参考訳）: Zero-Shot Temporal Action Localization (ZS-TAL)は、トレーニング中に見つからないビデオのアクションを特定し、見つけようとしている。 既存のZS-TAL法では、大量の注釈付きトレーニングデータに基づいてモデルを微調整する。 トレーニングベースのZS-TALアプローチでは、教師付き学習のためのラベル付きデータの可用性を前提としている。 さらに、トレーニングプロセスは学習モデルのドメインバイアスを自然に誘導し、任意のビデオに対するモデルの一般化能力に悪影響を及ぼす可能性がある。 これらの考察は、ZS-TAL問題に根本的に新しい視点からアプローチし、トレーニングデータの要求を緩和することを促す。 そこで本研究では,時間的行動局所化(T3AL)のためのテスト時間適応を行う新しい手法を提案する。 簡単に言えば、T3ALは事前訓練されたビジョン・アンド・ランゲージ・モデル(VLM)を適用する。 T3ALは3段階に分かれている。 まず、アクションカテゴリの動画レベル擬似ラベルを、ビデオ全体からの情報を集約して算出する。 そして、自己教師付き学習にインスパイアされた新しい手順を取り入れてアクションローカライゼーションを行う。 最後に、動作領域の提案を洗練するために、最先端キャプションモデルで抽出されたフレームレベルのテキスト記述を用いる。 THUMOS14とActivityNet-v1.3データセットの実験を行い,T3ALの有効性を検証する。 以上の結果から,T3ALは最先端のVLMに基づいてゼロショットベースラインを著しく上回り,テスト時間適応手法の利点が確認された。

関連論文リスト

• UAL-Bench: The First Comprehensive Unusual Activity Localization Benchmark [20.15425745473231]
  ビデオにおけるヒューマンエラーや監視インシデントなどの異常な活動のローカライズは、現実的に重要な意味を持つ。 異常な活動のローカライズにおける基礎モデルの能力を探るため,UAL-Benchを紹介する。 UAL-Benchには、UAG-OOPS、UAG-SSBD、UAG-FunQAという3つのビデオデータセットと、OOPS-UAG-Instructというインストラクション・トゥンデータセットがある。 以上の結果から,VLM-LLMアプローチはVid-LLMよりも短時間の異常事象の局所化や開始時刻の予測に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T02:33:09Z)
• Probabilistic Vision-Language Representation for Weakly Supervised Temporal Action Localization [3.996503381756227]
  WTAL(Weakly supervised temporal action Localization)は、ビデオレベルのアノテーションのみを使用して、未トリミングビデオ中のアクションインスタンスを検出することを目的としている。 本稿では,人間の行動知識と意味知識を確率論的埋め込み空間に整合させる新しい枠組みを提案する。 本手法は,従来の最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-08-12T07:09:12Z)
• Open-Vocabulary Spatio-Temporal Action Detection [59.91046192096296]
  OV-STAD (Open-vocabulary-temporal action detection) は,ビデオ理解において重要な課題である。 OV-STADは、ボックスとラベルを監督する限定されたベースクラスでモデルをトレーニングする必要がある。 局所的なビデオ領域とテキストのペアに対して、細かなアクション検出タスクに対して、より精巧なVLMを適用するために、慎重に微調整を行う。
  論文  参考訳（メタデータ） (2024-05-17T14:52:47Z)
• STAT: Towards Generalizable Temporal Action Localization [56.634561073746056]
  WTAL(Wakly-supervised temporal action Localization)は、ビデオレベルのラベルだけでアクションインスタンスを認識およびローカライズすることを目的としている。 既存の手法は、異なる分布に転送する際の重大な性能劣化に悩まされる。 本稿では,アクションローカライズ手法の一般化性向上に焦点を当てたGTALを提案する。
  論文  参考訳（メタデータ） (2024-04-20T07:56:21Z)
• Harnessing Large Language Models for Training-free Video Anomaly Detection [34.76811491190446]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を時間的に検出することを目的としている。 トレーニングベースのメソッドはドメイン固有のものになりがちなので、実践的なデプロイメントにはコストがかかる。 Language-based VAD (LAVAD)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T09:34:55Z)
• Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
  視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。 実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T12:55:01Z)
• Active Learning with Effective Scoring Functions for Semi-Supervised Temporal Action Localization [15.031156121516211]
  本稿では,半教師型talという,滅多に研究されていない実践的な課題に焦点を当てる。 本稿では,AL-STALという効果的な能動学習手法を提案する。 実験の結果,AL-STALは既存の競争相手よりも優れ,完全教師付き学習と比較して満足度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-08-31T13:39:38Z)
• Zero-Shot Temporal Action Detection via Vision-Language Prompting [134.26292288193298]
  視覚言語プロンプト(STALE)を用いた新しいゼロショット時間行動検出モデルを提案する。 我々のモデルは最先端の代替品を著しく上回っている。 我々のモデルは、近年の強力な競合相手よりも監督的TADにおいて優れた結果をもたらす。
  論文  参考訳（メタデータ） (2022-07-17T13:59:46Z)
• Delving into 3D Action Anticipation from Streaming Videos [99.0155538452263]
  アクション予測は、部分的な観察でアクションを認識することを目的としている。 本稿では,いくつかの相補的評価指標を導入し,フレームワイド動作分類に基づく基本モデルを提案する。 また,全動作表現とクラス非依存行動ラベルという2つの側面から補助情報を取り入れたマルチタスク学習戦略についても検討する。
  論文  参考訳（メタデータ） (2019-06-15T10:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。