論文の概要: Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics

• arxiv url: http://arxiv.org/abs/2007.12287v3
• Date: Wed, 7 Apr 2021 15:13:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 12:58:12.958664
• Title: Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics
• Title（参考訳）: Body2Hands: 対話型ジェスチャーボディダイナミクスから3Dハンドを推論する学習
• Authors: Evonne Ng, Shiry Ginosar, Trevor Darrell, Hanbyul Joo
• Abstract要約: 身体の動きと手の動きは、非言語的コミュニケーション設定において強く相関しているという知見に基づいて構築する。 身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。 本モデルでは,3次元手の動きのみを入力として,手の動きを説得力のある3次元手の動きを生成する。
• 参考スコア（独自算出の注目度）: 87.17505994436308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel learned deep prior of body motion for 3D hand shape synthesis and estimation in the domain of conversational gestures. Our model builds upon the insight that body motion and hand gestures are strongly correlated in non-verbal communication settings. We formulate the learning of this prior as a prediction task of 3D hand shape over time given body motion input alone. Trained with 3D pose estimations obtained from a large-scale dataset of internet videos, our hand prediction model produces convincing 3D hand gestures given only the 3D motion of the speaker's arms as input. We demonstrate the efficacy of our method on hand gesture synthesis from body motion input, and as a strong body prior for single-view image-based 3D hand pose estimation. We demonstrate that our method outperforms previous state-of-the-art approaches and can generalize beyond the monologue-based training data to multi-person conversations. Video results are available at http://people.eecs.berkeley.edu/~evonne_ng/projects/body2hands/.
• Abstract（参考訳）: 対話動作領域における3次元手形状合成と推定のための身体動作の深層学習手法を提案する。 本モデルは,非言語的コミュニケーション設定において,身体の動きと手の動きが強く相関しているという知見に基づいている。 身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。 インターネットビデオの大規模データセットから得られた3dポーズ推定で学習し,入力として話者の腕の3d動きのみを想定した3dハンドジェスチャを生成する。 本手法は,身体動作入力からのハンドジェスチャ合成に有効であること,および,ワンビュー画像に基づく3次元ポーズ推定に先立って強い体としての有効性を示す。 本手法は,従来の最先端手法よりも優れており,モノローグに基づくトレーニングデータから多人数会話まで一般化できることを示す。 ビデオはhttp://people.eecs.berkeley.edu/~evonne_ng/projects/body2hands/で見ることができる。

関連論文リスト

• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• BodyFormer: Semantics-guided 3D Body Gesture Synthesis with Transformer [42.87095473590205]
  音声からの3次元身体ジェスチャー自動合成のための新しいフレームワークを提案する。 本システムは,Trinity 音声位置推定データセットあるいは Talking With Hands 16.2M データセットを用いて学習する。 その結果,本システムは既存の最先端手法と比較して,より現実的で,適切で,多様な身体ジェスチャーを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-07T01:11:11Z)
• GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
  手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
  論文  参考訳（メタデータ） (2023-08-22T17:59:51Z)
• Diverse 3D Hand Gesture Prediction from Body Dynamics by Bilateral Hand Disentanglement [42.98335775548796]
  両手指離断に基づく2段階手指生成手法を提案する。 第1段階では、2つの手振り枝による自然な手振りを生成する。 第2段階は、3Dハンドの予測は非決定論的であるべきだという洞察に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-03-03T08:08:04Z)
• Generating Holistic 3D Human Motion from Speech [97.11392166257791]
  同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。 次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
  論文  参考訳（メタデータ） (2022-12-08T17:25:19Z)
• Learning Speech-driven 3D Conversational Gestures from Video [106.15628979352738]
  同期3D対話体と手のジェスチャーの両方を自動的に共同合成する最初のアプローチを提案します。 本アルゴリズムは,表情と手のジェスチャーの固有相関を利用したcnnアーキテクチャを用いる。 われわれはまた、33時間以上の注釈付きボディ、手、顔データからなる大きなコーパスを作成する新しい方法にも貢献する。
  論文  参考訳（メタデータ） (2021-02-13T01:05:39Z)
• Accurate 3D Hand Pose Estimation for Whole-Body 3D Human Mesh Estimation [70.23652933572647]
  全体3次元メッシュ推定は、3次元の人体、手、顔を同時に再構築することを目的としている。 我々はHand4Wholeを紹介します。 我々のHand4Wholeはエンドツーエンドで訓練されており、これまでの全身の3Dメッシュ推定方法よりもはるかに優れた3Dハンド結果を生成する。
  論文  参考訳（メタデータ） (2020-11-23T16:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。