論文の概要: Harnessing Temporal Causality for Advanced Temporal Action Detection

• arxiv url: http://arxiv.org/abs/2407.17792v2
• Date: Fri, 26 Jul 2024 01:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 12:30:11.157211
• Title: Harnessing Temporal Causality for Advanced Temporal Action Detection
• Title（参考訳）: 高度な時間的行動検出のためのハーネスング時間的因果性
• Authors: Shuming Liu, Lin Sui, Chen-Lin Zhang, Fangzhou Mu, Chen Zhao, Bernard Ghanem,
• Abstract要約: 本稿では,因果的注意と因果的マンバを組み合わせたCausalTADを提案する。 Ego4D Challenge 2024では,EPIC-Kitchens Challenge 2024では行動認識,行動検出,音声によるインタラクション検出トラックで1位,Ego4D Challenge 2024ではMoment Queriesトラックで1位にランクインした。
• 参考スコア（独自算出の注目度）: 53.654457142657236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a fundamental task in long-form video understanding, temporal action detection (TAD) aims to capture inherent temporal relations in untrimmed videos and identify candidate actions with precise boundaries. Over the years, various networks, including convolutions, graphs, and transformers, have been explored for effective temporal modeling for TAD. However, these modules typically treat past and future information equally, overlooking the crucial fact that changes in action boundaries are essentially causal events. Inspired by this insight, we propose leveraging the temporal causality of actions to enhance TAD representation by restricting the model's access to only past or future context. We introduce CausalTAD, which combines causal attention and causal Mamba to achieve state-of-the-art performance on multiple benchmarks. Notably, with CausalTAD, we ranked 1st in the Action Recognition, Action Detection, and Audio-Based Interaction Detection tracks at the EPIC-Kitchens Challenge 2024, as well as 1st in the Moment Queries track at the Ego4D Challenge 2024. Our code is available at https://github.com/sming256/OpenTAD/.
• Abstract（参考訳）: 時系列ビデオ理解の基本的な課題として、時間的行動検出(TAD)は、未編集ビデオにおける固有の時間的関係を捉え、正確な境界を持つ候補行動を特定することを目的としている。 長年にわたり、TADの効果的な時間的モデリングのために、畳み込み、グラフ、変換器などの様々なネットワークが検討されてきた。 しかしながら、これらのモジュールは通常、過去の情報と将来の情報を等しく扱い、アクション境界の変化が本質的に因果事象である重要な事実を見越す。 この知見にインスパイアされた本研究では,行動の時間的因果性を活用して,モデルが過去や将来の文脈にのみアクセスすることを制限し,TAD表現を強化することを提案する。 因果的注意と因果的マンバを組み合わせたCausalTADを提案する。 特に、CausalTADでは、EPIC-Kitchens Challenge 2024において、Action Recognition, Action Detection, and Audio-Based Interaction Detection trackで1位、Ego4D Challenge 2024ではMoment Queries trackで1位にランクインした。 私たちのコードはhttps://github.com/sming256/OpenTAD/で利用可能です。

関連論文リスト

• Technical Report for ActivityNet Challenge 2022 -- Temporal Action Localization [20.268572246761895]
  本稿では,各アクションの時間的境界を特定し,未トリミングビデオにおけるアクションクラスを予測することを提案する。 Faster-TADは、TADのパイプラインを単純化し、素晴らしいパフォーマンスを得る。
  論文  参考訳（メタデータ） (2024-10-31T14:16:56Z)
• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• One-Stage Open-Vocabulary Temporal Action Detection Leveraging Temporal Multi-scale and Action Label Features [2.8266810371534152]
  The Open-vocabulary Temporal Action Detection (Open-vocab TAD) is a Advanced video analysis approach。 提案手法は,Open-vocab と Closed-vocab の両方の設定において,他の手法と比較して優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-04-30T13:14:28Z)
• JOADAA: joint online action detection and action anticipation [2.7792814152937027]
  アクション予測は、過去のイベントと将来のイベントを結びつけることによって、将来のアクションを予測する。 オンラインアクション検出は、ストリーミング形式でアクションを予測するタスクである。 行動予測とオンライン行動検出を組み合わせることで、我々のアプローチは将来の情報の欠落した依存関係をカバーできる。
  論文  参考訳（メタデータ） (2023-09-12T11:17:25Z)
• Actor-identified Spatiotemporal Action Detection -- Detecting Who Is Doing What in Videos [29.5205455437899]
  ビデオ中の各アクションの開始時刻と終了時刻を推定するために、TAD(Temporal Action Detection)が検討されている。 時空間行動検出 (SAD) は, 映像の空間的, 時間的両方の行動の局所化を目的として研究されている。 SADアクター識別のギャップを埋める新しいタスクであるActor-identified Spatiotemporal Action Detection (ASAD)を提案する。
  論文  参考訳（メタデータ） (2022-08-27T06:51:12Z)
• Video Action Detection: Analysing Limitations and Challenges [70.01260415234127]
  ビデオ行動検出における既存のデータセットを分析し,その限界について議論する。 静的画像から映像を区別する重要な特性である時間的側面を解析するバイアスネススタディを実行する。 このような極端な実験は、注意深いモデリングを必要とする既存の手法に忍び込んだバイアスの存在を示している。
  論文  参考訳（メタデータ） (2022-04-17T00:42:14Z)
• SegTAD: Precise Temporal Action Detection via Semantic Segmentation [65.01826091117746]
  意味的セグメンテーションの新しい視点で時間的行動検出のタスクを定式化する。 TADの1次元特性により、粗粒度検出アノテーションを細粒度セマンティックセマンティックアノテーションに無償で変換できる。 1Dセマンティックセグメンテーションネットワーク(1D-SSN)と提案検出ネットワーク(PDN)からなるエンドツーエンドフレームワークSegTADを提案する。
  論文  参考訳（メタデータ） (2022-03-03T06:52:13Z)
• Exploring Motion and Appearance Information for Temporal Sentence Grounding [52.01687915910648]
  本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。 動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。 提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2022-01-03T02:44:18Z)
• Progressive Attention on Multi-Level Dense Difference Maps for Generic Event Boundary Detection [35.16241630620967]
  ジェネリックイベント境界検出はビデオ理解において重要な課題である。 本稿では、イベント境界の多様性と複雑な意味論に取り組むために、効果的でエンドツーエンドの学習可能なフレームワーク(DDM-Net)を提案する。
  論文  参考訳（メタデータ） (2021-12-09T09:00:05Z)
• End-to-end Temporal Action Detection with Transformer [86.80289146697788]
  時間的アクション検出(TAD)は、トリミングされていないビデオにおいて、すべてのアクションインスタンスのセマンティックラベルとバウンダリを決定することを目的としている。 そこで我々は,textitTadTR と呼ばれる Transformer によるTAD のエンドツーエンドフレームワークを構築した。 本手法は,HACSセグメンツとTHUMOS14の最先端性能とActivityNet-1.3の競合性能を実現する。
  論文  参考訳（メタデータ） (2021-06-18T17:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。