論文の概要: Activity Graph Transformer for Temporal Action Localization

• arxiv url: http://arxiv.org/abs/2101.08540v2
• Date: Thu, 28 Jan 2021 12:14:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 16:24:22.040034
• Title: Activity Graph Transformer for Temporal Action Localization
• Title（参考訳）: 時間的動作定位のためのアクティビティグラフトランスフォーマー
• Authors: Megha Nawhal, Greg Mori
• Abstract要約: 時間的行動のローカリゼーションのためのエンドツーエンド学習可能なモデルであるActivity Graph Transformerを紹介します。 本研究では,この非線形時間構造を,映像を非連続実体としてグラフの形で推論することによって捉える。 その結果,提案したモデルが最新技術より相当なマージンで上回ることが示された。
• 参考スコア（独自算出の注目度）: 41.69734359113706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Activity Graph Transformer, an end-to-end learnable model for temporal action localization, that receives a video as input and directly predicts a set of action instances that appear in the video. Detecting and localizing action instances in untrimmed videos requires reasoning over multiple action instances in a video. The dominant paradigms in the literature process videos temporally to either propose action regions or directly produce frame-level detections. However, sequential processing of videos is problematic when the action instances have non-sequential dependencies and/or non-linear temporal ordering, such as overlapping action instances or re-occurrence of action instances over the course of the video. In this work, we capture this non-linear temporal structure by reasoning over the videos as non-sequential entities in the form of graphs. We evaluate our model on challenging datasets: THUMOS14, Charades, and EPIC-Kitchens-100. Our results show that our proposed model outperforms the state-of-the-art by a considerable margin.
• Abstract（参考訳）: 本稿では,時間的行動ローカライゼーションのためのエンドツーエンドの学習可能なモデルであるActivity Graph Transformerを紹介し,映像を入力として受信し,ビデオに現れる一連のアクションインスタンスを直接予測する。 非トリミングビデオにおけるアクションインスタンスの検出とローカライズには、ビデオ内の複数のアクションインスタンスを推論する必要がある。 文学における支配的なパラダイムは、動画を時間的に処理し、アクション領域を提案するか、フレームレベルの検出を直接生成する。 しかし、ビデオの逐次処理は、アクションインスタンスが重複したアクションインスタンスや、ビデオの経過中にアクションインスタンスが再帰するなど、非シーケンス依存および/または非線形の一時的な順序を持つ場合に問題となる。 本研究では,この非線形時間構造をグラフ形式で非系列エンティティとして推論することで捉えた。 我々は,挑戦的データセット(THUMOS14,Charades,EPIC-Kitchens-100。 以上の結果から,提案モデルが最先端モデルに匹敵する可能性が示唆された。

関連論文リスト

• Technical Report for ActivityNet Challenge 2022 -- Temporal Action Localization [20.268572246761895]
  本稿では,各アクションの時間的境界を特定し,未トリミングビデオにおけるアクションクラスを予測することを提案する。 Faster-TADは、TADのパイプラインを単純化し、素晴らしいパフォーマンスを得る。
  論文  参考訳（メタデータ） (2024-10-31T14:16:56Z)
• Video-Specific Query-Key Attention Modeling for Weakly-Supervised Temporal Action Localization [14.43055117008746]
  弱いトリミングされた時間的アクションローカライゼーションは、ビデオレベルのアクションラベルのみを用いて、教師なしビデオ内のアクションインスタンスを特定し、ローカライズすることを目的としている。 本稿では,VQK-Netという名前のネットワークを提案する。ビデオ固有のクエリキーアテンションモデリングにより,各ビデオのアクションカテゴリ毎にユニークなクエリを学習する。
  論文  参考訳（メタデータ） (2023-05-07T04:18:22Z)
• Streaming Video Temporal Action Segmentation In Real Time [2.8728707559692475]
  本稿では,リアルタイムの時間的動作分割タスクをリアルタイムにストリーミングするマルチモーダリティモデルを提案する。 我々のモデルは、最先端モデル計算の40%未満の時間で人間の動作をリアルタイムにセグメントし、全映像モデルの精度の90%を達成している。
  論文  参考訳（メタデータ） (2022-09-28T03:27:37Z)
• Video Action Detection: Analysing Limitations and Challenges [70.01260415234127]
  ビデオ行動検出における既存のデータセットを分析し,その限界について議論する。 静的画像から映像を区別する重要な特性である時間的側面を解析するバイアスネススタディを実行する。 このような極端な実験は、注意深いモデリングを必要とする既存の手法に忍び込んだバイアスの存在を示している。
  論文  参考訳（メタデータ） (2022-04-17T00:42:14Z)
• Unsupervised Pre-training for Temporal Action Localization Tasks [76.01985780118422]
  本稿では、Pseudo Action Localization (PAL) と呼ばれる自己教師付きプレテキストタスクを、時間的アクションローカライゼーションタスク(UP-TAL)のための教師なし事前訓練機能エンコーダに提案する。 具体的には、まず1つのビデオから複数のクリップを含む時間領域をランダムに選択し、他の2つのビデオの異なる時間的位置に貼り付ける。 前提課題は、2つの合成ビデオからペーストした擬似行動領域の特徴を調整し、両者の合意を最大化することである。
  論文  参考訳（メタデータ） (2022-03-25T12:13:43Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• FineAction: A Fined Video Dataset for Temporal Action Localization [60.90129329728657]
  FineActionは、既存のビデオデータセットとWebビデオから収集された、新しい大規模なファインドビデオデータセットである。 このデータセットには、106のアクションカテゴリにまたがる約17Kの未トリミングビデオに高密度にアノテートされた139Kのアクションインスタンスが含まれている。 実験結果から,FineActionは短い期間のファインドおよびマルチラベルインスタンス上でのアクションローカライゼーションに新たな課題をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2021-05-24T06:06:32Z)
• Revisiting Few-shot Activity Detection with Class Similarity Control [107.79338380065286]
  本稿では,提案回帰に基づく数ショットの時間的活動検出のためのフレームワークを提案する。 我々のモデルはエンドツーエンドのトレーニングが可能で、数ショットのアクティビティと未トリミングなテストビデオのフレームレートの違いを考慮しており、さらに数ショットのサンプルの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2020-03-31T22:02:38Z)
• Action Graphs: Weakly-supervised Action Localization with Graph Convolution Networks [25.342482374259017]
  本稿では,グラフ畳み込みに基づく弱教師付き動作位置決め手法を提案する。 本手法は外観と動きを符号化した類似性グラフを用いて,THUMOS '14, ActivityNet 1.2, Charadesの動作ローカライゼーションを弱めに制御する手法である。
  論文  参考訳（メタデータ） (2020-02-04T18:21:10Z)
• Joint Visual-Temporal Embedding for Unsupervised Learning of Actions in Untrimmed Sequences [25.299599341774204]
  本稿では,共同視覚-時間埋め込み空間に基づく映像系列の教師なし学習手法を提案する。 提案手法は、連続したビデオフレームに存在する視覚的手がかりから有意義な視覚的、時間的埋め込みを提供することができることを示す。
  論文  参考訳（メタデータ） (2020-01-29T22:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。