論文の概要: Pose And Joint-Aware Action Recognition

• arxiv url: http://arxiv.org/abs/2010.08164v2
• Date: Fri, 29 Oct 2021 21:12:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 21:13:06.105816
• Title: Pose And Joint-Aware Action Recognition
• Title（参考訳）: ポーズと協調認識
• Authors: Anshul Shah, Shlok Mishra, Ankan Bansal, Jun-Cheng Chen, Rama Chellappa, Abhinav Shrivastava
• Abstract要約: 本稿では,まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出する,関節に基づく動作認識の新しいモデルを提案する。 私たちのジョイントセレクタモジュールは、そのタスクの最も識別性の高いジョイントを選択するために、ジョイント情報を再重み付けします。 JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。
• 参考スコア（独自算出の注目度）: 87.4780883700755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress on action recognition has mainly focused on RGB and optical flow features. In this paper, we approach the problem of joint-based action recognition. Unlike other modalities, constellation of joints and their motion generate models with succinct human motion information for activity recognition. We present a new model for joint-based action recognition, which first extracts motion features from each joint separately through a shared motion encoder before performing collective reasoning. Our joint selector module re-weights the joint information to select the most discriminative joints for the task. We also propose a novel joint-contrastive loss that pulls together groups of joint features which convey the same action. We strengthen the joint-based representations by using a geometry-aware data augmentation technique which jitters pose heatmaps while retaining the dynamics of the action. We show large improvements over the current state-of-the-art joint-based approaches on JHMDB, HMDB, Charades, AVA action recognition datasets. A late fusion with RGB and Flow-based approaches yields additional improvements. Our model also outperforms the existing baseline on Mimetics, a dataset with out-of-context actions.
• Abstract（参考訳）: アクション認識の最近の進歩は、主にRGBと光フローの特徴に焦点を当てている。 本稿では,協調型行動認識の問題にアプローチする。 他のモダリティとは異なり、関節とその運動は活動認識のための簡潔な人間の動き情報を持つモデルを生成する。 まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出し,集団推論を行うジョイントベース行動認識モデルを提案する。 ジョイントセレクタモジュールは、タスクの最も識別的なジョイントを選択するためにジョイント情報を重み付けします。 また,同じ動作を伝達する結合特徴群をまとめる,新たな結合結合的損失を提案する。 動作のダイナミクスを保ちながら,ジッタがヒートマップに反応する幾何学的データ拡張手法を用いて,関節に基づく表現を強化する。 JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。 rgbとフローベースのアプローチとの遅延的な融合は、さらなる改善をもたらす。 我々のモデルは、文脈外アクションを持つデータセットであるMimeticsの既存のベースラインを上回ります。

関連論文リスト

• Learning Mutual Excitation for Hand-to-Hand and Human-to-Human Interaction Recognition [22.538114033191313]
  相互励起グラフ畳み込み層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。 Me-GCは各レイヤとグラフ畳み込み操作の各ステージで相互情報を学習する。 提案するme-GCは,最先端GCN法およびTransformer法より優れている。
  論文  参考訳（メタデータ） (2024-02-04T10:00:00Z)
• Action Capsules: Human Skeleton Action Recognition [2.9005223064604078]
  以前のアクションカプセルは、骨格配列における関節の潜在的相関を考慮し、アクション関連キージョイントを識別する。 提案手法では,各動作に特有な一組の関節に注意を払い,その動作を認識するために時間的特徴が集約されていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T17:28:34Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• Motion Prediction via Joint Dependency Modeling in Phase Space [40.54430409142653]
  我々は、運動解剖学の明示的な事前知識を活用するために、新しい畳み込みニューラルモデルを導入する。 次に,個々の関節機能間の暗黙的関係を学習するグローバル最適化モジュールを提案する。 本手法は,大規模な3次元人体動作ベンチマークデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2022-01-07T08:30:01Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• Modeling long-term interactions to enhance action recognition [81.09859029964323]
  本稿では,フレームレベルと時間レベルの両方でオブジェクト間の相互作用のセマンティクスを利用する,エゴセントリックなビデオのアンダースタンドアクションに対する新しいアプローチを提案する。 ユーザの手とほぼ対応するプライマリ領域と、相互作用するオブジェクトに対応する可能性のあるセカンダリ領域のセットを入力として、領域ベースのアプローチを使用する。 提案手法は, 標準ベンチマークの動作認識において, 最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2021-04-23T10:08:15Z)
• Motion Guided Attention Fusion to Recognize Interactions from Videos [40.1565059238891]
  ビデオからの細かいインタラクションを認識するためのデュアルパスアプローチを提案する。 動作経路のボトムアップ特徴と物体検出から捉えた特徴を融合させて、動作の時間的側面を学習する。 提案手法は外見を効果的に一般化し,アクターがこれまで見つからなかった物体と相互作用する動作を認識する。
  論文  参考訳（メタデータ） (2021-04-01T17:44:34Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。