論文の概要: JGHand: Joint-Driven Animatable Hand Avater via 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2501.19088v1
• Date: Fri, 31 Jan 2025 12:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:47.495168
• Title: JGHand: Joint-Driven Animatable Hand Avater via 3D Gaussian Splatting
• Title（参考訳）: JGHand:3Dガウススプレイティングによる関節駆動式アニマタブルハンドアバター
• Authors: Zhoutao Sun, Xukun Shen, Yong Hu, Yuyou Zhong, Xueyang Zhou,
• Abstract要約: Jointly 3D Gaussian Hand (JGHand)は、新しい3D Gaussian Splatting (3DGS)ベースの手表現である。 JGHandは、最先端の手法を超越した、高品質なリアルタイムレンダリングを実現する。
• 参考スコア（独自算出の注目度）: 3.1143479095236892
• License:
• Abstract: Since hands are the primary interface in daily interactions, modeling high-quality digital human hands and rendering realistic images is a critical research problem. Furthermore, considering the requirements of interactive and rendering applications, it is essential to achieve real-time rendering and driveability of the digital model without compromising rendering quality. Thus, we propose Jointly 3D Gaussian Hand (JGHand), a novel joint-driven 3D Gaussian Splatting (3DGS)-based hand representation that renders high-fidelity hand images in real-time for various poses and characters. Distinct from existing articulated neural rendering techniques, we introduce a differentiable process for spatial transformations based on 3D key points. This process supports deformations from the canonical template to a mesh with arbitrary bone lengths and poses. Additionally, we propose a real-time shadow simulation method based on per-pixel depth to simulate self-occlusion shadows caused by finger movements. Finally, we embed the hand prior and propose an animatable 3DGS representation of the hand driven solely by 3D key points. We validate the effectiveness of each component of our approach through comprehensive ablation studies. Experimental results on public datasets demonstrate that JGHand achieves real-time rendering speeds with enhanced quality, surpassing state-of-the-art methods.
• Abstract（参考訳）: 手は日々のインタラクションにおいて主要なインターフェースであるため、高品質なデジタルヒューマンハンドをモデル化し、リアルな画像をレンダリングすることが重要な研究課題である。 さらに、インタラクティブなレンダリングアプリケーションの要件を考慮すると、レンダリング品質を損なうことなく、デジタルモデルのリアルタイムレンダリングと駆動性を実現することが不可欠である。 そこで我々は,JGHand(Jointly 3D Gaussian Hand)を提案する。JGHand(Jointly 3D Gaussian Splatting 3DGS)ベースの手表現で,さまざまなポーズやキャラクタに対して,高忠実な手像をリアルタイムに描画する。 既存の調音型ニューラルレンダリング技術とは違い、3Dキーポイントに基づく空間変換のための微分可能なプロセスを導入する。 このプロセスは、標準的なテンプレートから任意の骨の長さとポーズを持つメッシュへの変形をサポートする。 さらに,指の動きによる自己閉塞影をシミュレートする,画素ごとの深度に基づくリアルタイム影シミュレーション手法を提案する。 最後に、3Dキーポイントのみによって駆動される手のアニメーション可能な3DGS表現を提案する。 包括的アブレーション研究により, アプローチの各コンポーネントの有効性を検証した。 公開データセットに対する実験結果から、JGHandは、最先端の手法を超越した、高品質なリアルタイムレンダリング速度を実現していることが示された。

関連論文リスト

• Bundle Adjusted Gaussian Avatars Deblurring [31.718130377229482]
  本研究では,人間の運動に起因するぼかし形成の3次元的物理指向モデルと,運動誘発ぼかし画像に見られる曖昧さを明らかにするための3次元人体運動モデルを提案する。 我々は,360度同期ハイブリッド露光カメラシステムによって取得された実撮データセットとともに,既存のマルチビューキャプチャから合成されたデータセットを用いて,このタスクのベンチマークを確立した。
  論文  参考訳（メタデータ） (2024-11-24T10:03:24Z)
• Learning Interaction-aware 3D Gaussian Splatting for One-shot Hand Avatars [47.61442517627826]
  本稿では,3次元ガウススプラッティング(GS)と単一画像入力と手を相互作用するアニマタブルアバターを提案する。 提案手法は大規模なInterHand2.6Mデータセットの広範な実験により検証される。
  論文  参考訳（メタデータ） (2024-10-11T14:14:51Z)
• XHand: Real-time Expressive Hand Avatar [9.876680405587745]
  我々は,手形,外観,変形をリアルタイムで生成できる表現力のある手形アバターXHandを紹介した。 XHandは、さまざまなポーズをリアルタイムで横断する手動アニメーションのための高忠実な幾何学とテクスチャを復元することができる。
  論文  参考訳（メタデータ） (2024-07-30T17:49:21Z)
• iHuman: Instant Animatable Digital Humans From Monocular Videos [16.98924995658091]
  モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。 この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。 我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
  論文  参考訳（メタデータ） (2024-07-15T18:51:51Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)
• Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data [77.34069717612493]
  本稿では,100fpsの単眼手形状とポーズ推定の新たな手法を提案する。 これは、利用可能なハンドトレーニングデータのソースをすべて活用できるように設計された、新しい学習ベースのアーキテクチャによって実現されている。 3次元手関節検出モジュールと逆キネマティクスモジュールを備えており、3次元手関節位置だけでなく、1つのフィードフォワードパスでそれらを関節回転にマッピングする。
  論文  参考訳（メタデータ） (2020-03-21T03:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。