論文の概要: Training-Free Zero-Shot Temporal Action Detection with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2501.13795v1
• Date: Thu, 23 Jan 2025 16:13:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:58:04.483561
• Title: Training-Free Zero-Shot Temporal Action Detection with Vision-Language Models
• Title（参考訳）: 視覚言語モデルを用いた無訓練ゼロショット時間行動検出
• Authors: Chaolei Han, Hongsong Wang, Jidong Kuang, Lei Zhang, Jie Gui,
• Abstract要約: 学習自由ゼロショット時間行動検出法(FreeZAD)を提案する。 既存のヴィジュアル言語(ViL)モデルを利用して、未トリミングビデオ内の見えないアクティビティを直接分類し、ローカライズする。 トレーニング不要の手法は、実行時の1/13しか必要とせず、最先端の教師なし手法よりも優れています。
• 参考スコア（独自算出の注目度）: 15.17499718666202
• License:
• Abstract: Existing zero-shot temporal action detection (ZSTAD) methods predominantly use fully supervised or unsupervised strategies to recognize unseen activities. However, these training-based methods are prone to domain shifts and require high computational costs, which hinder their practical applicability in real-world scenarios. In this paper, unlike previous works, we propose a training-Free Zero-shot temporal Action Detection (FreeZAD) method, leveraging existing vision-language (ViL) models to directly classify and localize unseen activities within untrimmed videos without any additional fine-tuning or adaptation. We mitigate the need for explicit temporal modeling and reliance on pseudo-label quality by designing the LOGarithmic decay weighted Outer-Inner-Contrastive Score (LogOIC) and frequency-based Actionness Calibration. Furthermore, we introduce a test-time adaptation (TTA) strategy using Prototype-Centric Sampling (PCS) to expand FreeZAD, enabling ViL models to adapt more effectively for ZSTAD. Extensive experiments on the THUMOS14 and ActivityNet-1.3 datasets demonstrate that our training-free method outperforms state-of-the-art unsupervised methods while requiring only 1/13 of the runtime. When equipped with TTA, the enhanced method further narrows the gap with fully supervised methods.
• Abstract（参考訳）: 既存のゼロショット時間的行動検出法(ZSTAD)は、主に教師なしまたは教師なしの戦略を用いて、目に見えない活動を認識する。 しかし、これらのトレーニングベースの手法はドメインシフトの傾向があり、計算コストが高いため、現実のシナリオにおける現実的な適用性を妨げている。 本稿では,既存の視覚言語 (ViL) モデルを用いて,未編集ビデオ内の未確認活動を,追加の微調整や適応なしに直接分類・ローカライズする学習自由ゼロショット時間行動検出法を提案する。 LOGarithmic decay weighted Outer-Inner-Contrastive Score (LogOIC) と周波数に基づくアクションネス校正を設計することにより、明示的な時間的モデリングと疑似ラベル品質への依存を緩和する。 さらに、プロトタイプ中心サンプリング(PCS)を用いたテスト時間適応(TTA)戦略を導入し、FreeZADを拡張し、VLモデルがZSTADに対してより効果的に適応できるようにする。 THUMOS14とActivityNet-1.3データセットの大規模な実験により、我々のトレーニングフリーメソッドは、最先端の教師なしメソッドよりも優れ、ランタイムの1/13しか必要としないことが示された。 TTAを装着すると、拡張された方法は、完全に教師された方法でギャップをさらに狭める。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Adaptive Retention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Test-Time Zero-Shot Temporal Action Localization [58.84919541314969]
  ZS-TALは、トレーニング中に目に見えないビデオのアクションを特定し、見つけようとしている。 トレーニングベースのZS-TALアプローチは、教師あり学習のためのラベル付きデータの可用性を前提としている。 時間的行動ローカライゼーション(T3AL)のためのテスト時間適応を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T11:54:49Z)
• Simplified Temporal Consistency Reinforcement Learning [19.814047499837084]
  本稿では,潜時整合性によって訓練された潜時力学モデルに依存する単純な表現学習手法が,高性能なRLには十分であることを示す。 提案手法は,モデルフリー手法を大きなマージンで上回り,モデルベース手法のサンプル効率を2.4倍高速にトレーニングしながら比較する。
  論文  参考訳（メタデータ） (2023-06-15T19:37:43Z)
• Active Learning with Effective Scoring Functions for Semi-Supervised Temporal Action Localization [15.031156121516211]
  本稿では,半教師型talという,滅多に研究されていない実践的な課題に焦点を当てる。 本稿では,AL-STALという効果的な能動学習手法を提案する。 実験の結果,AL-STALは既存の競争相手よりも優れ,完全教師付き学習と比較して満足度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-08-31T13:39:38Z)
• Zero-Shot Temporal Action Detection via Vision-Language Prompting [134.26292288193298]
  視覚言語プロンプト(STALE)を用いた新しいゼロショット時間行動検出モデルを提案する。 我々のモデルは最先端の代替品を著しく上回っている。 我々のモデルは、近年の強力な競合相手よりも監督的TADにおいて優れた結果をもたらす。
  論文  参考訳（メタデータ） (2022-07-17T13:59:46Z)
• Mitigating Sampling Bias and Improving Robustness in Active Learning [13.994967246046008]
  教師付き環境下での能動学習に比較学習の損失を生かして教師付き能動学習を導入する。 多様な特徴表現の情報的データサンプルを選択するアンバイアスなクエリ戦略を提案する。 提案手法は,アクティブな学習環境において,サンプリングバイアスを低減し,最先端の精度を実現し,モデルの校正を行う。
  論文  参考訳（メタデータ） (2021-09-13T20:58:40Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。