Fugu-MT 論文翻訳(概要): REACT: Recognize Every Action Everywhere All At Once

論文の概要: REACT: Recognize Every Action Everywhere All At Once

arxiv url: http://arxiv.org/abs/2312.00188v1
Date: Mon, 27 Nov 2023 20:48:54 GMT
ステータス: 処理完了
システム内更新日: 2023-12-11 03:43:50.841491
Title: REACT: Recognize Every Action Everywhere All At Once
Title（参考訳）: REACT: あらゆるアクションを一度に認識する
Authors: Naga VS Raviteja Chappa, Pha Nguyen, Page Daniel Dobbs and Khoa Luu
Abstract要約: グループ・アクティビティ・デコーダ(GAR)はコンピュータビジョンにおける基本的な問題であり、スポーツ分析、監視、社会場面の理解に様々な応用がある。本稿では,変換器エンコーダ・デコーダモデルにインスパイアされたREACTアーキテクチャを提案する。提案手法は,グループ活動の認識と理解において優れた精度を示すとともに,最先端のGAR手法よりも優れた性能を示す。
参考スコア（独自算出の注目度）: 8.10024991952397
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Group Activity Recognition (GAR) is a fundamental problem in computer vision, with diverse applications in sports video analysis, video surveillance, and social scene understanding. Unlike conventional action recognition, GAR aims to classify the actions of a group of individuals as a whole, requiring a deep understanding of their interactions and spatiotemporal relationships. To address the challenges in GAR, we present REACT (\textbf{R}ecognize \textbf{E}very \textbf{Act}ion Everywhere All At Once), a novel architecture inspired by the transformer encoder-decoder model explicitly designed to model complex contextual relationships within videos, including multi-modality and spatio-temporal features. Our architecture features a cutting-edge Vision-Language Encoder block for integrated temporal, spatial, and multi-modal interaction modeling. This component efficiently encodes spatiotemporal interactions, even with sparsely sampled frames, and recovers essential local information. Our Action Decoder Block refines the joint understanding of text and video data, allowing us to precisely retrieve bounding boxes, enhancing the link between semantics and visual reality. At the core, our Actor Fusion Block orchestrates a fusion of actor-specific data and textual features, striking a balance between specificity and context. Our method outperforms state-of-the-art GAR approaches in extensive experiments, demonstrating superior accuracy in recognizing and understanding group activities. Our architecture's potential extends to diverse real-world applications, offering empirical evidence of its performance gains. This work significantly advances the field of group activity recognition, providing a robust framework for nuanced scene comprehension.
Abstract（参考訳）: グループアクティビティ認識(GAR)はコンピュータビジョンの基本的な問題であり、スポーツビデオ分析、ビデオ監視、社会場面理解に様々な応用がある。従来の行動認識とは異なり、GARは集団全体の行動を分類することを目的としており、その相互作用と時空間的関係を深く理解する必要がある。 GARの課題に対処するために,多モード性や時空間的特徴を含むビデオ内の複雑なコンテキスト関係を明示的にモデル化するトランスフォーマーエンコーダデコーダモデルにヒントを得た,REACT(\textbf{R}ecognize \textbf{E}very \textbf{Act}ion Everywhere All At Once)を提案する。我々のアーキテクチャは、時間・空間・マルチモーダル相互作用モデリングのための最先端のVision-Language Encoderブロックを備えている。このコンポーネントは、スパースサンプリングフレームであっても、時空間の相互作用を効率的に符号化し、必須のローカル情報を復元する。私たちのアクションデコーダブロックは、テキストとビデオデータの共同理解を洗練し、バウンディングボックスを正確に検索し、セマンティクスとビジュアルリアリティーのリンクを強化する。コアとなるアクタ融合ブロックはアクタ固有のデータとテキストの特徴の融合をオーケストレーションし、特異性とコンテキストのバランスを取ります。提案手法は,グループ活動の認識と理解において優れた精度を示すとともに,最先端のGAR手法よりも優れた性能を示す。私たちのアーキテクチャのポテンシャルは、様々な現実世界のアプリケーションにまで広がり、そのパフォーマンス向上の実証的な証拠を提供します。この研究はグループ活動認識の分野を著しく進歩させ、ニュアンスドシーン理解のための堅牢な枠組みを提供する。

関連論文リスト

Unified Framework with Consistency across Modalities for Human Activity Recognition [14.639249548669756]
本稿では,ロバストな映像に基づく人間行動認識のための包括的枠組みを提案する。主な貢献はComputerと呼ばれる新しいクエリマシンの導入である。提案手法は,最先端手法と比較して優れた性能を示す。
論文参考訳（メタデータ） (2024-09-04T02:25:10Z)
Spatial-Temporal Knowledge-Embedded Transformer for Video Scene Graph Generation [64.85974098314344]
映像シーングラフ生成(VidSGG)は、映像シーン内の物体を特定し、その映像との関係を推測することを目的としている。因みに、オブジェクトペアとその関係は、各画像内の空間的共起相関と、異なる画像間の時間的一貫性/遷移相関を享受する。本稿では,従来の空間的時間的知識をマルチヘッド・クロスアテンション機構に組み込んだ時空間的知識埋め込み型トランス (STKET) を提案する。
論文参考訳（メタデータ） (2023-09-23T02:40:28Z)
Cross-Video Contextual Knowledge Exploration and Exploitation for Ambiguity Reduction in Weakly Supervised Temporal Action Localization [23.94629999419033]
弱教師付き時間的行動ローカライゼーション(WSTAL)は、ビデオレベルのラベルを用いて、未トリミングビデオ中のアクションをローカライズすることを目的としている。私たちの研究は、データセット内のビデオ間のコンテキスト知識を探索し、活用することで、これを新しい視点から解決します。我々の手法は最先端の手法よりも優れており、他のWSTAL手法に簡単に接続できる。
論文参考訳（メタデータ） (2023-08-24T07:19:59Z)
SOC: Semantic-Assisted Object Cluster for Referring Video Object Segmentation [35.063881868130075]
本稿では,映像レベルの視覚言語的アライメントを高めることによって,映像オブジェクトセグメンテーション(RVOS)について述べる。本稿では,映像コンテンツとテキストガイダンスを集約したセマンティック支援オブジェクトクラスタ(SOC)を提案する。我々は、人気のあるRVOSベンチマークで広範な実験を行い、我々の手法は、すべてのベンチマークにおける最先端の競合よりも顕著なマージンで優れています。
論文参考訳（メタデータ） (2023-05-26T15:13:44Z)
ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
論文参考訳（メタデータ） (2023-05-01T17:57:01Z)
Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
論文参考訳（メタデータ） (2022-03-29T05:52:23Z)
COMPOSER: Compositional Learning of Group Activity in Videos [33.526331969279106]
グループアクティビティ認識(GAR)は、短いビデオクリップでアクターのグループによって実行されるアクティビティを検出する。トークンに対する注意に基づく推論を行うマルチスケールトランスフォーマーアーキテクチャであるComposERを提案する。 COMPOSERは新しい94.5%の精度をキーポイントのみのモダリティで達成した。
論文参考訳（メタデータ） (2021-12-11T01:25:46Z)
Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identification [98.7585431239291]
ビデオベースの人物再識別は、同じ人物をビデオクリップ間でマッチングすることを目的としている。本稿では,マルチグラニュラリティ参照属性集約モジュールMG-RAFAを提案する。本フレームワークは,3つのベンチマークデータセット上での最先端のアブレーション性能を実現する。
論文参考訳（メタデータ） (2020-03-27T03:49:21Z)
Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文参考訳（メタデータ） (2020-03-09T17:05:04Z)
See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks [184.4379622593225]
教師なしビデオオブジェクトセグメンテーションタスクに対処するため,CO-attention Siamese Network (COSNet) と呼ばれる新しいネットワークを導入する。我々は,ビデオフレーム間の固有相関の重要性を強調し,グローバルなコアテンション機構を取り入れた。本稿では、ビデオ内のリッチなコンテキストをマイニングするために、異なるコアテンションの変種を導出する、統一的でエンドツーエンドのトレーニング可能なフレームワークを提案する。
論文参考訳（メタデータ） (2020-01-19T11:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。