論文の概要: Coarse Temporal Attention Network (CTA-Net) for Driver's Activity Recognition

• arxiv url: http://arxiv.org/abs/2101.06636v1
• Date: Sun, 17 Jan 2021 10:15:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 20:22:31.676408
• Title: Coarse Temporal Attention Network (CTA-Net) for Driver's Activity Recognition
• Title（参考訳）: ドライバの活動認識のための粗時間注意ネットワーク(CTA-Net)
• Authors: Zachary Wharton, Ardhendu Behera, Yonghuai Liu, Nik Bessis
• Abstract要約: ドライバーの活動は、同様の身体部分の動きで同じ被験者によって実行され、微妙な変化をもたらすため、異なります。 我々のモデルはCTA-Net(Coarse Temporal Attention Network)と呼ばれ、粗い時間枝をトレーニング可能な視点で導入する。 モデルは革新的なアテンションメカニズムを使用して、アクティビティ認識のための高レベルなアクション固有のコンテキスト情報を生成する。
• 参考スコア（独自算出の注目度）: 14.07119502083967
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: There is significant progress in recognizing traditional human activities from videos focusing on highly distinctive actions involving discriminative body movements, body-object and/or human-human interactions. Driver's activities are different since they are executed by the same subject with similar body parts movements, resulting in subtle changes. To address this, we propose a novel framework by exploiting the spatiotemporal attention to model the subtle changes. Our model is named Coarse Temporal Attention Network (CTA-Net), in which coarse temporal branches are introduced in a trainable glimpse network. The goal is to allow the glimpse to capture high-level temporal relationships, such as 'during', 'before' and 'after' by focusing on a specific part of a video. These branches also respect the topology of the temporal dynamics in the video, ensuring that different branches learn meaningful spatial and temporal changes. The model then uses an innovative attention mechanism to generate high-level action specific contextual information for activity recognition by exploring the hidden states of an LSTM. The attention mechanism helps in learning to decide the importance of each hidden state for the recognition task by weighing them when constructing the representation of the video. Our approach is evaluated on four publicly accessible datasets and significantly outperforms the state-of-the-art by a considerable margin with only RGB video as input.
• Abstract（参考訳）: ビデオから従来の人間の活動を認識することは、差別的身体運動、身体と物体、または人間と人間の相互作用を含む非常に独特な行動に焦点を当てる。 ドライバーの活動は、類似した身体部分の動きを持つ同じ被験者によって実行されるため、微妙な変化をもたらす。 そこで本研究では,時空間的注意を生かして微妙な変化をモデル化する新しい枠組みを提案する。 我々のモデルはCTA-Net(Coarse Temporal Attention Network)と呼ばれ、トレーニング可能な視線ネットワークに粗い時間枝を導入する。 目標は、ビデオの特定の部分に焦点を合わせ、'during'、'before'、'after'などのハイレベルな時間関係を可視化できるようにすることである。 これらの分枝はビデオの時間的ダイナミクスのトポロジーも尊重しており、異なる分枝が意味のある空間的変化と時間的変化を学ぶことを保証している。 このモデルは、LSTMの隠れた状態を探索することによって、アクティビティ認識のための高レベルなアクション特異的コンテキスト情報を生成するために、革新的な注意機構を使用する。 注意機構は、ビデオの表現を構築する際に、認識タスクにおける各隠れ状態の重要性を判断するのに役立つ。 提案手法は4つの公開データセットで評価され,RGB動画のみを入力として,最先端技術よりも大幅に優れていた。

関連論文リスト

• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Learning State-Aware Visual Representations from Audible Interactions [39.08554113807464]
  自己中心型ビデオデータから表現を学習する自己教師型アルゴリズムを提案する。 音声信号を用いて、より学習しやすい対話の瞬間を識別する。 大規模なエゴセントリックな2つのデータセットに対して、これらのコントリビューションを広範囲に検証する。
  論文  参考訳（メタデータ） (2022-09-27T17:57:13Z)
• Exploring Motion and Appearance Information for Temporal Sentence Grounding [52.01687915910648]
  本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。 動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。 提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2022-01-03T02:44:18Z)
• Relational Self-Attention: What's Missing in Attention for Video Understanding [52.38780998425556]
  リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。 我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-02T15:36:11Z)
• Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
  3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。 我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。 提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
  論文  参考訳（メタデータ） (2021-10-05T15:39:11Z)
• Identity-aware Graph Memory Network for Action Detection [37.65846189707054]
  グラフメモリネットワークを通じて,アクターの身元情報を長期的・短期的両方の文脈で明確に強調する。 具体的には,長期関係モデリングを包括的に行う階層型グラフニューラルネットワーク(IGNN)を提案する。 我々は、異なるアイデンティティを持つアクターによる干渉の影響を低減するために、ID認識制約を生成するデュアルアテンションモジュール(DAM)を開発した。
  論文  参考訳（メタデータ） (2021-08-26T02:34:55Z)
• Learning Asynchronous and Sparse Human-Object Interaction in Videos [56.73059840294019]
  Asynchronous-Sparse Interaction Graph Networks(ASSIGN)は、ビデオシーン内のエンティティに関連するインタラクションイベントの構造を自動的に検出します。 ASSIGNは人間と物体の相互作用認識において試験され、人間のサブアクティビティのセグメンテーションおよびラベル付けにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-03T23:43:55Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。