論文の概要: DexAvatar: 3D Sign Language Reconstruction with Hand and Body Pose Priors

• arxiv url: http://arxiv.org/abs/2512.21054v1
• Date: Wed, 24 Dec 2025 08:44:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.740133
• Title: DexAvatar: 3D Sign Language Reconstruction with Hand and Body Pose Priors
• Title（参考訳）: DexAvatar: 手と体を優先した3D手話再構築
• Authors: Kaustubh Kundu, Hrishav Bakul Barua, Lucy Robertson-Bell, Zhixi Cai, Kalin Stefanov,
• Abstract要約: DexAvatarは,手話ビデオから生体力学的に精密な手話や身体の動きを再現する新しいフレームワークである。 DexAvatarはSGNifyモーションキャプチャデータセットで強力なパフォーマンスを実現し、体と手のポーズの推定で35.11%向上した。
• 参考スコア（独自算出の注目度）: 4.950209377730332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The trend in sign language generation is centered around data-driven generative methods that require vast amounts of precise 2D and 3D human pose data to achieve an acceptable generation quality. However, currently, most sign language datasets are video-based and limited to automatically reconstructed 2D human poses (i.e., keypoints) and lack accurate 3D information. Furthermore, existing state-of-the-art for automatic 3D human pose estimation from sign language videos is prone to self-occlusion, noise, and motion blur effects, resulting in poor reconstruction quality. In response to this, we introduce DexAvatar, a novel framework to reconstruct bio-mechanically accurate fine-grained hand articulations and body movements from in-the-wild monocular sign language videos, guided by learned 3D hand and body priors. DexAvatar achieves strong performance in the SGNify motion capture dataset, the only benchmark available for this task, reaching an improvement of 35.11% in the estimation of body and hand poses compared to the state-of-the-art. The official website of this work is: https://github.com/kaustesseract/DexAvatar.
• Abstract（参考訳）: 手話生成のトレンドは、許容可能な生成品質を達成するために、膨大な量の正確な2Dと3Dの人間のポーズデータを必要とするデータ駆動生成手法を中心にしている。 しかし、現在、ほとんどの手話データセットはビデオベースであり、自動的に再構成された2Dのポーズ(キーポイント)に限られており、正確な3D情報がない。 さらに,手話ビデオから自動3次元ポーズ推定を行う既存の技術は,自己閉塞,ノイズ,動きのぼかしの影響を受けやすいため,再建の質は低下する。 これに対応するために,生体力学的に精密な手触りと身体の動きを,学習した3D手と体前手でガイドした,眼内単眼手話ビデオから再構築する新しいフレームワークであるDexAvatarを紹介した。 DexAvatarは、このタスクで利用可能な唯一のベンチマークであるSGNifyモーションキャプチャデータセットで強力なパフォーマンスを達成し、最先端と比較して、身体と手のポーズの推定が35.11%向上した。 この研究の公式ウェブサイトは、https://github.com/kaustesseract/DexAvatarである。

関連論文リスト

• 2D or not 2D: How Does the Dimensionality of Gesture Representation Affect 3D Co-Speech Gesture Generation? [5.408549711581793]
  本研究では,2次元もしくは3次元の関節座標を訓練データとして用いることが,音声から身近な深層生成モデルの性能に及ぼす影響について検討した。 生成した2Dポーズシーケンスを3Dに変換するためのリフトモデルを用いて,2Dで生成したジェスチャと3Dで生成したジェスチャを直接3Dスタックで生成し,次に3Dに変換する方法を評価する。
  論文  参考訳（メタデータ） (2024-09-16T15:06:12Z)
• Investigating the impact of 2D gesture representation on co-speech gesture generation [5.408549711581793]
  訓練データ(2次元または3次元の関節座標)の寸法がマルチモーダル音声合成モデルの性能に及ぼす影響を評価する。
  論文  参考訳（メタデータ） (2024-06-21T12:59:20Z)
• Reconstructing Signing Avatars From Video Using Linguistic Priors [54.5282429129769]
  手話(SL)は、世界中の7000万人の聴覚障害者のためのコミュニケーションの第一の方法である。 孤立したサインの動画辞書を3Dアバターに置き換えることで、学習を支援し、AR/VRアプリケーションを有効にすることができる。 SGNifyは、細かな手ポーズ、表情、身体の動きを、WildのモノクロSLビデオから完全に自動でキャプチャする。
  論文  参考訳（メタデータ） (2023-04-20T17:29:50Z)
• Generating Holistic 3D Human Motion from Speech [97.11392166257791]
  同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。 次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
  論文  参考訳（メタデータ） (2022-12-08T17:25:19Z)
• Learning Speech-driven 3D Conversational Gestures from Video [106.15628979352738]
  同期3D対話体と手のジェスチャーの両方を自動的に共同合成する最初のアプローチを提案します。 本アルゴリズムは,表情と手のジェスチャーの固有相関を利用したcnnアーキテクチャを用いる。 われわれはまた、33時間以上の注釈付きボディ、手、顔データからなる大きなコーパスを作成する新しい方法にも貢献する。
  論文  参考訳（メタデータ） (2021-02-13T01:05:39Z)
• Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics [87.17505994436308]
  身体の動きと手の動きは、非言語的コミュニケーション設定において強く相関しているという知見に基づいて構築する。 身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。 本モデルでは,3次元手の動きのみを入力として,手の動きを説得力のある3次元手の動きを生成する。
  論文  参考訳（メタデータ） (2020-07-23T22:58:15Z)
• Towards Generalization of 3D Human Pose Estimation In The Wild [73.19542580408971]
  3DBodyTex.Poseは、3Dの人間のポーズ推定のタスクに対処するデータセットである。 3DBodyTex.Poseは、さまざまな衣服やポーズで405種類の実際の被写体を含む高品質でリッチなデータを提供する。
  論文  参考訳（メタデータ） (2020-04-21T13:31:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。