論文の概要: Text-driven Online Action Detection

• arxiv url: http://arxiv.org/abs/2501.13518v1
• Date: Thu, 23 Jan 2025 10:06:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:58:07.509874
• Title: Text-driven Online Action Detection
• Title（参考訳）: テキスト駆動型オンライン行動検出
• Authors: Manuel Benavent-Lledo, David Mulero-Pérez, David Ortiz-Perez, Jose Garcia-Rodriguez,
• Abstract要約: ゼロショットおよび少数ショット学習をサポートするテキスト駆動型オンラインアクション検出アーキテクチャであるTOADを紹介する。 我々のモデルはTHUMOS14データセット上で82.46%のmAPを達成し、既存の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Detecting actions as they occur is essential for applications like video surveillance, autonomous driving, and human-robot interaction. Known as online action detection, this task requires classifying actions in streaming videos, handling background noise, and coping with incomplete actions. Transformer architectures are the current state-of-the-art, yet the potential of recent advancements in computer vision, particularly vision-language models (VLMs), remains largely untapped for this problem, partly due to high computational costs. In this paper, we introduce TOAD: a Text-driven Online Action Detection architecture that supports zero-shot and few-shot learning. TOAD leverages CLIP (Contrastive Language-Image Pretraining) textual embeddings, enabling efficient use of VLMs without significant computational overhead. Our model achieves 82.46% mAP on the THUMOS14 dataset, outperforming existing methods, and sets new baselines for zero-shot and few-shot performance on the THUMOS14 and TVSeries datasets.
• Abstract（参考訳）: ビデオ監視、自律運転、人間とロボットのインタラクションといったアプリケーションには、アクションの発生を検知することが不可欠である。 オンラインアクション検出として知られるこのタスクは、ストリーミングビデオにおけるアクションの分類、バックグラウンドノイズの処理、不完全なアクションへの対処を必要とする。 トランスフォーマーアーキテクチャは現在の最先端のアーキテクチャであるが、コンピュータビジョン、特に視覚言語モデル(VLM)の最近の進歩の可能性を秘めている。 本稿では、ゼロショット学習と少数ショット学習をサポートするテキスト駆動型オンラインアクション検出アーキテクチャTOADを紹介する。 TOADはCLIP(Contrastive Language- Image Pretraining)テキストの埋め込みを利用しており、計算オーバーヘッドの大きいVLMを効率的に利用することができる。 本モデルでは,THUMOS14データセット上で82.46%のmAPを達成し,既存の手法よりも優れ,THUMOS14データセットとTVSeriesデータセット上でゼロショットおよび少数ショットのパフォーマンスの新たなベースラインを設定する。

関連論文リスト

• Text-Enhanced Zero-Shot Action Recognition: A training-free approach [13.074211474150914]
  ゼロショット映像行動認識のためのテキスト強調行動認識(TEAR)を提案する。 TEARはトレーニングフリーであり、トレーニングデータや広範な計算資源の可用性を必要としない。
  論文  参考訳（メタデータ） (2024-08-29T10:20:05Z)
• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• ActNetFormer: Transformer-ResNet Hybrid Method for Semi-Supervised Action Recognition in Videos [4.736059095502584]
  本研究は,半教師付き行動認識のためのコントラスト学習を用いたクロスアーキテクチャ擬似ラベルを用いた新しい手法を提案する。 本稿では,3次元畳み込みニューラルネットワーク(3D CNN)とビデオトランスフォーマー(VIT)を用いて,アクション表現の異なる側面を捉える,新しいクロスアーキテクチャ手法を提案する。
  論文  参考訳（メタデータ） (2024-04-09T12:09:56Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• TalkNCE: Improving Active Speaker Detection with Talk-Aware Contrastive Learning [15.673602262069531]
  アクティブ話者検出(英: Active Speaker Detection、ASD)とは、ある人が話しているか否かを一連のビデオフレームで判断するタスクである。 提案するTalkNCEは,新しい会話認識型コントラスト損失である。 提案手法は, AVA-ActiveSpeaker および ASW データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-21T17:59:11Z)
• Look, Remember and Reason: Grounded reasoning in videos with language models [5.3445140425713245]
  マルチテンポラル言語モデル(LM)は、最近ビデオ上の高レベル推論タスクにおいて有望な性能を示した。 オブジェクト検出,再識別,追跡など,低レベルなサロゲートタスクに対するLMエンドツーエンドのトレーニングを提案し,低レベルな視覚能力を備えたモデルを実現する。 我々は、ACRE、CATER、Some-Else、STARデータセットからの多様な視覚的推論タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-06-30T16:31:14Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• SimOn: A Simple Framework for Online Temporal Action Localization [51.27476730635852]
  一般的なTransformerアーキテクチャを用いて,アクションインスタンスの予測を学習するSimOnというフレームワークを提案する。 THUMOS14とActivityNet1.3データセットの実験結果は、我々のモデルが従来の手法よりも著しく優れていることを示している。
  論文  参考訳（メタデータ） (2022-11-08T04:50:54Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)
• ZSTAD: Zero-Shot Temporal Activity Detection [107.63759089583382]
  本研究では,ゼロショット時間的活動検出(ZSTAD)と呼ばれる新たなタスク設定を提案する。 このソリューションのアーキテクチャとして,R-C3Dに基づくエンドツーエンドのディープネットワークを設計する。 THUMOS14とCharadesデータセットの両方の実験は、目に見えない活動を検出するという点で有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-03-12T02:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。