論文の概要: Human Action Recognition in Egocentric Perspective Using 2D Object and
Hands Pose
- arxiv url: http://arxiv.org/abs/2306.05147v1
- Date: Thu, 8 Jun 2023 12:15:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 14:36:12.711826
- Title: Human Action Recognition in Egocentric Perspective Using 2D Object and
Hands Pose
- Title(参考訳): 2次元物体と手札を用いた自我中心視点における人間の行動認識
- Authors: Wiktor Mucha and Martin Kampel
- Abstract要約: エゴセントリックなアクション認識は、エゴセントリックなカメラに依存する医療と補助技術にとって不可欠である。
本研究では,2次元手とオブジェクトポーズ情報を用いた自我中心の行動認識の実現可能性について検討した。
- 参考スコア(独自算出の注目度): 2.0305676256390934
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Egocentric action recognition is essential for healthcare and assistive
technology that relies on egocentric cameras because it allows for the
automatic and continuous monitoring of activities of daily living (ADLs)
without requiring any conscious effort from the user. This study explores the
feasibility of using 2D hand and object pose information for egocentric action
recognition. While current literature focuses on 3D hand pose information, our
work shows that using 2D skeleton data is a promising approach for hand-based
action classification, might offer privacy enhancement, and could be less
computationally demanding. The study uses a state-of-the-art transformer-based
method to classify sequences and achieves validation results of 94%,
outperforming other existing solutions. The accuracy of the test subset drops
to 76%, indicating the need for further generalization improvement. This
research highlights the potential of 2D hand and object pose information for
action recognition tasks and offers a promising alternative to 3D-based
methods.
- Abstract(参考訳): エゴセントリックなアクション認識は、利用者の意識的な努力を必要とせずに、日常生活のアクティビティ(adl)の自動的かつ継続的な監視を可能にするため、エゴセントリックカメラに依存する医療および補助技術に不可欠である。
本研究は,2次元ハンドと物体ポーズ情報を用いた自己中心的行動認識の実現可能性について検討する。
現在の文献は3dハンドポーズ情報に焦点を当てているが、2dスケルトンデータを使うことは、ハンドベースのアクション分類に有望なアプローチであり、プライバシの強化を提供し、計算の要求を少なくする可能性があることを示している。
この研究は、最先端のトランスフォーマーベースの手法を用いてシーケンスを分類し、検証結果の94%を達成し、既存のソリューションよりも優れている。
テストサブセットの精度は76%に低下し、さらなる一般化の改善の必要性を示している。
本研究は, 動作認識タスクにおける2次元手と物体のポーズ情報の可能性を強調し, 3次元手法に代わる有望な代替手段を提供する。
関連論文リスト
- Pedestrian Crossing Action Recognition and Trajectory Prediction with 3D
Human Keypoints [25.550524178542833]
歩行者の横断行動認識と軌道予測のための新しいマルチタスク学習フレームワークを提案する。
生のセンサデータから抽出した3D人間のキーポイントを用いて、人間のポーズや活動に関する豊富な情報をキャプチャする。
提案手法は,幅広い評価指標を用いて最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T18:27:48Z) - RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。
表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文 参考訳(メタデータ) (2022-05-14T05:35:35Z) - Egocentric Prediction of Action Target in 3D [17.99025294221712]
本稿では,RGB-DとIMUストリームの100万フレームを超える大規模なマルチモーダルデータセットを提案する。
この新たな課題は、ロボット工学、ビジョン、学習コミュニティの研究者によるさらなる研究に値することを示す。
論文 参考訳(メタデータ) (2022-03-24T15:16:05Z) - Skeleton-Based Mutually Assisted Interacted Object Localization and
Human Action Recognition [111.87412719773889]
本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。
本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
論文 参考訳(メタデータ) (2021-10-28T10:09:34Z) - Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。
まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
論文 参考訳(メタデータ) (2021-08-16T12:26:34Z) - Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
3D MOT問題に対する統一型学習型アプローチを提案します。
我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。
AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
論文 参考訳(メタデータ) (2021-04-23T17:59:28Z) - H2O: Two Hands Manipulating Objects for First Person Interaction
Recognition [70.46638409156772]
両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。
本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。
我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
論文 参考訳(メタデータ) (2021-04-22T17:10:42Z) - Seeing by haptic glance: reinforcement learning-based 3D object
Recognition [31.80213713136647]
対象物と指の間の触覚接触数に制限があり、対象物を見ることなく3D認識を行うことができる。
この能力は認知神経科学における「触覚的視線」と定義される。
既存の3D認識モデルのほとんどは、高密度な3Dデータに基づいて開発された。
触覚探索によって3Dデータを収集するためにロボットが使用される多くの実生活のユースケースでは、限られた数の3Dポイントしか収集できない。
アクティブに収集された3Dで客観的な3D認識と同時に触覚探査手順を最適化する新しい強化学習ベースのフレームワークが提案される。
論文 参考訳(メタデータ) (2021-02-15T15:38:22Z) - Deep Learning-Based Human Pose Estimation: A Survey [66.01917727294163]
人間のポーズ推定は、過去10年間に注目を集めてきた。
ヒューマン・コンピュータ・インタラクション、モーション・アナリティクス、拡張現実、バーチャル・リアリティーなど幅広い用途で利用されている。
最近のディープラーニングベースのソリューションは、人間のポーズ推定において高いパフォーマンスを実現している。
論文 参考訳(メタデータ) (2020-12-24T18:49:06Z) - View-Invariant, Occlusion-Robust Probabilistic Embedding for Human Pose [36.384824115033304]
本研究では,3次元のポーズを明示的に予測することなく,2次元のボディジョイントキーポイントからコンパクトなビュー不変埋め込み空間を学習する手法を提案する。
実験の結果,異なるカメラビューで類似のポーズを検索すると,埋め込みモデルの精度が向上することがわかった。
論文 参考訳(メタデータ) (2020-10-23T17:58:35Z) - A review of 3D human pose estimation algorithms for markerless motion
capture [0.0]
我々は過去5年間の主要な人間のポーズ推定手法を概観し、メトリクス、ベンチマーク、メソッド構造に注目した。
本稿では,方法の分類や今後の研究の方向性の導出に使用する精度,速度,堅牢性に基づく分類法を提案する。
論文 参考訳(メタデータ) (2020-10-13T15:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。