論文の概要: Semantics2Hands: Transferring Hand Motion Semantics between Avatars

• arxiv url: http://arxiv.org/abs/2308.05920v1
• Date: Fri, 11 Aug 2023 03:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 15:15:30.555560
• Title: Semantics2Hands: Transferring Hand Motion Semantics between Avatars
• Title（参考訳）: semantics2hands: アバター間のハンドモーションセマンティクスの伝達
• Authors: Zijie Ye, Jia Jia and Junliang Xing
• Abstract要約: 手の動きの小さなエラーでさえ、ユーザエクスペリエンスに大きな影響を与えます。 本稿では,手の動きのセマンティクスを符号化した新しい解剖学的意味行列(ASM)を提案する。 我々は、MixamoとInterHand2.6Mデータセットの半教師付き学習戦略を用いてASMを訓練する。
• 参考スコア（独自算出の注目度）: 34.39785320233128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human hands, the primary means of non-verbal communication, convey intricate semantics in various scenarios. Due to the high sensitivity of individuals to hand motions, even minor errors in hand motions can significantly impact the user experience. Real applications often involve multiple avatars with varying hand shapes, highlighting the importance of maintaining the intricate semantics of hand motions across the avatars. Therefore, this paper aims to transfer the hand motion semantics between diverse avatars based on their respective hand models. To address this problem, we introduce a novel anatomy-based semantic matrix (ASM) that encodes the semantics of hand motions. The ASM quantifies the positions of the palm and other joints relative to the local frame of the corresponding joint, enabling precise retargeting of hand motions. Subsequently, we obtain a mapping function from the source ASM to the target hand joint rotations by employing an anatomy-based semantics reconstruction network (ASRN). We train the ASRN using a semi-supervised learning strategy on the Mixamo and InterHand2.6M datasets. We evaluate our method in intra-domain and cross-domain hand motion retargeting tasks. The qualitative and quantitative results demonstrate the significant superiority of our ASRN over the state-of-the-arts.
• Abstract（参考訳）: 非言語コミュニケーションの主要な手段である人間の手は、様々なシナリオにおいて複雑な意味を伝達する。 手の動きに対する個人の感度が高いため、手の動きの小さな誤りでさえ、ユーザエクスペリエンスに大きな影響を与えます。 実際の応用は、しばしば手形が異なる複数のアバターを伴い、アバター全体にわたる手の動きの複雑な意味を維持することの重要性を強調している。 そこで本稿では,手の動きのセマンティクスを多様なアバター間で伝達することを目的としている。 この問題に対処するために,手の動きのセマンティクスを符号化する新しい解剖学的意味行列(ASM)を導入する。 ASMは、対応する関節の局所的なフレームに対する手のひらと他の関節の位置を定量化し、手の動きの正確な再ターゲティングを可能にする。 その後、解剖学的意味再構成ネットワーク(ASRN)を用いて、ソースASMから対象手関節回転へのマッピング関数を得る。 我々は、MixamoとInterHand2.6Mデータセットの半教師付き学習戦略を用いてASRNを訓練する。 本手法をドメイン内およびドメイン間ハンドモーション再ターゲティングタスクで評価する。 定性的かつ定量的な結果は、最先端技術に対するASRNの顕著な優位性を示している。

関連論文リスト

• GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
  手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
  論文  参考訳（メタデータ） (2023-08-22T17:59:51Z)
• Local Spherical Harmonics Improve Skeleton-Based Hand Action Recognition [17.62840662799232]
  本研究では, 局所球面高調波と相対角埋め込みを用いた手動作認識のための新しい手動作表現法を提案する。 Spherical Harmonicsの使用は、オブジェクト間の差異や視点の変化に対して手の動き認識をさらに堅牢にする回転不変表現を生成する。
  論文  参考訳（メタデータ） (2023-08-21T08:17:42Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Recognizing Hand Use and Hand Role at Home After Stroke from Egocentric Video [0.0]
  エゴセントリックなビデオは、コンテキスト内で手と物体のインタラクションをキャプチャし、より影響のある手の使用方法を示す。 脳卒中後の自宅で録画された自我中心のビデオから、人工知能ベースのコンピュータビジョンを用いて、手の使用と手の役割を分類する。
  論文  参考訳（メタデータ） (2022-07-18T20:15:29Z)
• Snapture -- A Novel Neural Architecture for Combined Static and Dynamic Hand Gesture Recognition [19.320551882950706]
  そこで本研究では,新しいハイブリットハンドジェスチャ認識システムを提案する。 我々のアーキテクチャは静的なジェスチャーと動的ジェスチャーの両方を学ぶことができる。 本研究は,ロボットとの非言語コミュニケーションのためのジェスチャー認識研究と機械学習応用の両方に貢献する。
  論文  参考訳（メタデータ） (2022-05-28T11:12:38Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)
• Generalization Through Hand-Eye Coordination: An Action Space for Learning Spatially-Invariant Visuomotor Control [67.23580984118479]
  模倣学習(il)は、オフラインデモデータから視覚能力を学ぶための効果的なフレームワークである。 手目行動ネットワーク(HAN)は、人間の遠隔操作による実証から学習することにより、人間の手目協調行動を推定することができる。
  論文  参考訳（メタデータ） (2021-02-28T01:49:13Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。