論文の概要: Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition

• arxiv url: http://arxiv.org/abs/2110.14994v1
• Date: Thu, 28 Oct 2021 10:09:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 15:26:32.331689
• Title: Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition
• Title（参考訳）: スケルトンに基づく相互支援型対話型物体定位とヒューマンアクション認識
• Authors: Liang Xu, Cuiling Lan, Wenjun Zeng, Cewu Lu
• Abstract要約: 本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
• 参考スコア（独自算出の注目度）: 111.87412719773889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Skeleton data carries valuable motion information and is widely explored in human action recognition. However, not only the motion information but also the interaction with the environment provides discriminative cues to recognize the action of persons. In this paper, we propose a joint learning framework for mutually assisted "interacted object localization" and "human action recognition" based on skeleton data. The two tasks are serialized together and collaborate to promote each other, where preliminary action type derived from skeleton alone helps improve interacted object localization, which in turn provides valuable cues for the final human action recognition. Besides, we explore the temporal consistency of interacted object as constraint to better localize the interacted object with the absence of ground-truth labels. Extensive experiments on the datasets of SYSU-3D, NTU60 RGB+D and Northwestern-UCLA show that our method achieves the best or competitive performance with the state-of-the-art methods for human action recognition. Visualization results show that our method can also provide reasonable interacted object localization results.
• Abstract（参考訳）: スケルトンデータは貴重な動作情報を持ち、人間の行動認識で広く研究されている。 しかし、動き情報だけでなく、環境との相互作用も人の行動を認識するための差別的な手がかりとなる。 本稿では,骨格データに基づく相互支援型「相互作用物体の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 この2つのタスクは相互にシリアライズされ、協調して相互に促進され、スケルトンから派生した予備的なアクションタイプは相互作用したオブジェクトのローカライゼーションを改善するのに役立つ。 さらに,対話型オブジェクトの時間的一貫性を制約として探究し,接地ラベルを使わずに対話型オブジェクトのローカライズを行う。 SYSU-3D, NTU60 RGB+D, Northwestern-UCLAのデータセットに対する大規模な実験により, 人間の行動認識のための最先端の手法を用いて, 最適な, 競争的な性能を達成できた。 可視化結果から,本手法は適切な対話型オブジェクトローカライゼーション結果を提供できることが示された。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• LEMON: Learning 3D Human-Object Interaction Relation from 2D Images [56.6123961391372]
  人間の物体と物体の相互作用関係の学習は、AIと相互作用モデリングの具体化に不可欠である。 既存のほとんどの手法は、孤立した相互作用要素を予測することを学ぶことで目標に近づいている。 本稿では,相互の相互作用意図をマイニングし,幾何相関の抽出を導出するための曲率を用いた統一モデルLEMONを提案する。
  論文  参考訳（メタデータ） (2023-12-14T14:10:57Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
  本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。 インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。 提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
  論文  参考訳（メタデータ） (2023-08-20T04:12:50Z)
• How Object Information Improves Skeleton-based Human Action Recognition in Assembly Tasks [12.349172146831506]
  本稿では,物体情報を骨格に基づく行動認識に組み込む新しい手法を提案する。 我々は、物体中心をさらなる骨格関節として扱うことにより、最先端の2つの方法を強化する。 我々の研究は、組み立て作業における人間の行動認識のための骨格関節と物体情報を組み合わせることの利点に光を当てている。
  論文  参考訳（メタデータ） (2023-06-09T12:18:14Z)
• Modelling Spatio-Temporal Interactions for Compositional Action Recognition [21.8767024220287]
  人間は、アクションやバックグラウンドに関わるオブジェクトが変更されても、アクションを認識する能力を持っている。 本研究では,インタラクション中心のアプローチが構成的Somes-Elseデータセットに与える影響を示す。 人-物-物間相互作用モデリングのアプローチは,標準的な行動認識データセットにおいても有効である。
  論文  参考訳（メタデータ） (2023-05-04T09:37:45Z)
• Human Interaction Recognition Framework based on Interacting Body Part Attention [24.913372626903648]
  人間の相互作用の暗黙的および明示的な表現を同時に考慮する新しいフレームワークを提案する。 提案手法は, 相互作用部位の注意力を用いて, 異なる相互作用の微妙な違いを捉える。 提案手法の有効性を4つの公開データセットを用いて検証する。
  論文  参考訳（メタデータ） (2021-01-22T06:52:42Z)
• Pose And Joint-Aware Action Recognition [87.4780883700755]
  本稿では,まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出する,関節に基づく動作認識の新しいモデルを提案する。 私たちのジョイントセレクタモジュールは、そのタスクの最も識別性の高いジョイントを選択するために、ジョイント情報を再重み付けします。 JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。
  論文  参考訳（メタデータ） (2020-10-16T04:43:34Z)
• Attention-Oriented Action Recognition for Real-Time Human-Robot Interaction [11.285529781751984]
  本稿では,リアルタイムインタラクションの必要性に応えるために,アテンション指向のマルチレベルネットワークフレームワークを提案する。 具体的には、プレアテンションネットワークを使用して、低解像度でシーン内のインタラクションに大まかにフォーカスする。 他のコンパクトCNNは、抽出されたスケルトンシーケンスをアクション認識用の入力として受信する。
  論文  参考訳（メタデータ） (2020-07-02T12:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。