Fugu-MT 論文翻訳(概要): Egocentric View Hand Action Recognition by Leveraging Hand Surface and Hand Grasp Type

論文の概要: Egocentric View Hand Action Recognition by Leveraging Hand Surface and Hand Grasp Type

arxiv url: http://arxiv.org/abs/2109.03783v1
Date: Wed, 8 Sep 2021 17:12:02 GMT
ステータス: 処理完了
システム内更新日: 2021-09-09 13:45:25.409656
Title: Egocentric View Hand Action Recognition by Leveraging Hand Surface and Hand Grasp Type
Title（参考訳）: 手表面と手の把持型を利用した自己中心視ハンドアクション認識
Authors: Sangpil Kim, Jihyun Bae, Hyunggun Chi, Sunghee Hong, Byoung Soo Koh, Karthik Ramani
Abstract要約: このフレームワークは、手メッシュモデルの平均曲率を合成し、3次元空間における手表面形状を符号化する。手のつかみタイプと手の平均曲率を用いることで,手の動き認識の性能が向上する。
参考スコア（独自算出の注目度）: 15.878905144552204
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We introduce a multi-stage framework that uses mean curvature on a hand surface and focuses on learning interaction between hand and object by analyzing hand grasp type for hand action recognition in egocentric videos. The proposed method does not require 3D information of objects including 6D object poses which are difficult to annotate for learning an object's behavior while it interacts with hands. Instead, the framework synthesizes the mean curvature of the hand mesh model to encode the hand surface geometry in 3D space. Additionally, our method learns the hand grasp type which is highly correlated with the hand action. From our experiment, we notice that using hand grasp type and mean curvature of hand increases the performance of the hand action recognition.
Abstract（参考訳）: そこで本研究では,手首面に平均曲率を用いた多段階フレームワークを導入し,手指把持型分析による手首中心映像における手指動作認識の学習に着目した。提案手法では,手と対話しながら物体の動作を学習するのにアノテーションが難しい6次元物体ポーズを含む物体の3次元情報を必要としない。代わりに、フレームワークはハンドメッシュモデルの平均曲率を合成し、3d空間でハンド表面形状を符号化する。さらに,本手法は手の動きと高い相関関係を持つ手つかみタイプを学習する。実験の結果,手の動き認識の性能は,手つかみタイプと手の平均曲率によって向上することがわかった。

関連論文リスト

DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
DiffH2Oは,現実的,一方的あるいは一方的な物体相互作用を合成する新しい手法である。タスクを把握段階とテキストベースのインタラクション段階に分解する。把握段階では、モデルが手の動きのみを生成するのに対し、手と物の両方のポーズが合成される。
論文参考訳（メタデータ） (2024-03-26T16:06:42Z)
Hand-Centric Motion Refinement for 3D Hand-Object Interaction via Hierarchical Spatial-Temporal Modeling [18.128376292350836]
粗い手の動き改善のためのデータ駆動方式を提案する。まず,手と物体の動的空間的関係を記述するために,手中心の表現を設計する。第2に,手動物体相互作用の動的手がかりを捉えるために,新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-01-29T09:17:51Z)
AffordPose: A Large-scale Dataset of Hand-Object Interactions with Affordance-driven Hand Pose [16.65196181081623]
AffordPoseは、手動ポーズによる手動オブジェクトインタラクションの大規模データセットである。計26.7Kのハンドオブジェクトインタラクションを収集し、それぞれ3次元オブジェクト形状、部分レベルアベイランスラベル、手動で調整した手ポーズを含む。包括的データ分析は、手-物間相互作用の共通特性と多様性を示している。
論文参考訳（メタデータ） (2023-09-16T10:25:28Z)
GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
論文参考訳（メタデータ） (2023-08-22T17:59:51Z)
LG-Hand: Advancing 3D Hand Pose Estimation with Locally and Globally Kinematic Knowledge [0.693939291118954]
本稿では3次元手ポーズ推定のための強力な手法であるLG-Handを提案する。キネマティックな情報が重要な役割を担い、3次元手ポーズ推定の性能に寄与すると主張している。提案手法は,Person Hand Action Benchmarkデータセット上で有望な結果を得る。
論文参考訳（メタデータ） (2022-11-06T15:26:32Z)
3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
論文参考訳（メタデータ） (2022-07-22T13:04:06Z)
Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2021-07-01T13:28:02Z)
H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
論文参考訳（メタデータ） (2021-04-22T17:10:42Z)
Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics [87.17505994436308]
身体の動きと手の動きは、非言語的コミュニケーション設定において強く相関しているという知見に基づいて構築する。身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。本モデルでは,3次元手の動きのみを入力として,手の動きを説得力のある3次元手の動きを生成する。
論文参考訳（メタデータ） (2020-07-23T22:58:15Z)
Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。