論文の概要: JARViS: Detecting Actions in Video Using Unified Actor-Scene Context Relation Modeling

• arxiv url: http://arxiv.org/abs/2408.03612v2
• Date: Tue, 17 Sep 2024 06:25:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 21:29:24.975460
• Title: JARViS: Detecting Actions in Video Using Unified Actor-Scene Context Relation Modeling
• Title（参考訳）: JARViS:Unified Actor-Scene Context Relation Modeling を用いた映像中の行動検出
• Authors: Seok Hwan Lee, Taein Son, Soo Won Seo, Jisong Kim, Jun Won Choi,
• Abstract要約: 2段階ビデオローカライゼーション(英語: Two-stage Video Localization, VAD)は、ビデオクリップの空間的および時間的次元内のアクションの局所化と分類を含む、強迫的なタスクである。 JARViS(Joint Actor-scene context Relation Modeling)と呼ばれる2段階のVADフレームワークを提案する。 JARViSは、トランスフォーマーアテンションを用いて、空間的および時間的次元にわたって世界中に分布するクロスモーダルアクションセマンティクスを集約する。
• 参考スコア（独自算出の注目度）: 8.463489896549161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video action detection (VAD) is a formidable vision task that involves the localization and classification of actions within the spatial and temporal dimensions of a video clip. Among the myriad VAD architectures, two-stage VAD methods utilize a pre-trained person detector to extract the region of interest features, subsequently employing these features for action detection. However, the performance of two-stage VAD methods has been limited as they depend solely on localized actor features to infer action semantics. In this study, we propose a new two-stage VAD framework called Joint Actor-scene context Relation modeling based on Visual Semantics (JARViS), which effectively consolidates cross-modal action semantics distributed globally across spatial and temporal dimensions using Transformer attention. JARViS employs a person detector to produce densely sampled actor features from a keyframe. Concurrently, it uses a video backbone to create spatio-temporal scene features from a video clip. Finally, the fine-grained interactions between actors and scenes are modeled through a Unified Action-Scene Context Transformer to directly output the final set of actions in parallel. Our experimental results demonstrate that JARViS outperforms existing methods by significant margins and achieves state-of-the-art performance on three popular VAD datasets, including AVA, UCF101-24, and JHMDB51-21.
• Abstract（参考訳）: ビデオアクション検出(英語: Video Action Detection, VAD)は、ビデオクリップの空間的および時間的次元内のアクションの局所化と分類を含む、強迫的な視覚タスクである。 希少なVADアーキテクチャのうち、2段階のVAD法は、訓練済みの人検知器を用いて興味のある特徴領域を抽出し、その後これらの特徴をアクション検出に利用する。 しかし,2段階のVAD手法の性能は,アクションセマンティクスを推論するための局所的なアクター機能にのみ依存するため,制限されている。 本研究では,視覚セマンティックス(JARViS)をベースとして,空間的・時間的空間的に分布するクロスモーダル・アクション・セマンティクスをトランスフォーマー・アテンション(Transformer attention)を用いて効果的に統合する2段階のVADフレームワークを提案する。 JARViSは人検知器を使用して、キーフレームから密にサンプリングされたアクター特徴を生成する。 同時に、ビデオのバックボーンを使って、ビデオクリップから時空間の特徴を生成する。 最後に、アクターとシーン間のきめ細かいインタラクションは、Unified Action-Scene Context Transformerを通じてモデル化され、アクションの最終セットを直接並列に出力する。 AVA, UCF101-24, JHMDB51-21 を含む3つのVADデータセットにおいて, JARViS が既存手法より大幅に優れ, 最先端の性能を実現していることを示す。

関連論文リスト

• VrdONE: One-stage Video Visual Relation Detection [30.983521962897477]
  Video Visual Relation Detection (VidVRD)は、ビデオの時間と空間におけるエンティティの理解に焦点を当てている。 VidVRDの従来の手法は、その複雑さに悩まされ、通常、タスクを2つの部分に分割する。 VidVRDのワンステージモデルであるVrdONEを提案する。
  論文  参考訳（メタデータ） (2024-08-18T08:38:20Z)
• A Semantic and Motion-Aware Spatiotemporal Transformer Network for Action Detection [7.202931445597171]
  本稿では,未編集映像の動作を検出する新しいネットワークを提案する。 このネットワークは、モーション対応2D位置符号化を利用して、ビデオフレーム内のアクションセマンティクスの位置を符号化する。 このアプローチは、4つの提案されたデータセット上で最先端のソリューションよりも優れています。
  論文  参考訳（メタデータ） (2024-05-13T21:47:35Z)
• Multi-Modal Domain Adaptation Across Video Scenes for Temporal Video Grounding [59.599378814835205]
  時間的ビデオグラウンドリング(TVG)は、与えられた言語クエリに基づいて、特定のセグメントの時間的境界を未トリミングビデオにローカライズすることを目的としている。 そこで本研究では,対象データからの洞察を取り入れた新たなAMDA手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T07:49:27Z)
• DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
  人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。 既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。 本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:06:43Z)
• Human Instance Segmentation and Tracking via Data Association and Single-stage Detector [17.46922710432633]
  人間のビデオインスタンスのセグメンテーションは、人間の活動のコンピュータ理解において重要な役割を果たす。 現在のVISメソッドのほとんどはMask-RCNNフレームワークに基づいている。 単段検出器を用いた人間のビデオ・インスタンス・セグメンテーションのための新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-03-31T11:36:09Z)
• Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
  セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。 本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。 実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T05:52:23Z)
• Graph Convolutional Module for Temporal Action Localization in Videos [142.5947904572949]
  アクション・ユニット間の関係は、アクション・ローカライゼーションにおいて重要な役割を果たすと主張する。 より強力なアクション検出器は、各アクションユニットの局所的な内容をキャプチャするだけでなく、関連するコンテキストに関する広い視野を許容するべきである。 本稿では,既存の動作ローカライズ手法に簡単にプラグイン可能な汎用グラフ畳み込みモジュール(GCM)を提案する。
  論文  参考訳（メタデータ） (2021-12-01T06:36:59Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• Weakly Supervised Temporal Action Localization Through Learning Explicit Subspaces for Action and Context [151.23835595907596]
  ビデオレベルの監視のみの下で、アクションインスタンスの時間的開始と終了をローカライズする方法を学ぶ。 アクションとコンテキストそれぞれについて,2つの機能サブスペースを学習するフレームワークを提案する。 提案手法は3つのベンチマークで最先端のWS-TAL法より優れている。
  論文  参考訳（メタデータ） (2021-03-30T08:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。