論文の概要: InteractAvatar: Modeling Hand-Face Interaction in Photorealistic Avatars with Deformable Gaussians

• arxiv url: http://arxiv.org/abs/2504.07949v1
• Date: Thu, 10 Apr 2025 17:55:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:20:38.467759
• Title: InteractAvatar: Modeling Hand-Face Interaction in Photorealistic Avatars with Deformable Gaussians
• Title（参考訳）: InteractAvatar: 変形可能なガウスを持つフォトリアリスティックアバターにおける手と顔の相互作用のモデル化
• Authors: Kefan Chen, Sergiu Oprea, Justin Theiss, Sreyas Mohan, Srinath Sridhar, Aayush Prakash,
• Abstract要約: InacttAvatarは、動的ハンドと非剛性ハンドフェイスインタラクションの出現を忠実に捉えた最初のモデルである。 私たちの手と顔の相互作用モジュールは、一般的なジェスチャーの根底にある微妙な幾何学と外見のダイナミクスをモデル化します。
• 参考スコア（独自算出の注目度）: 9.665857631154612
• License:
• Abstract: With the rising interest from the community in digital avatars coupled with the importance of expressions and gestures in communication, modeling natural avatar behavior remains an important challenge across many industries such as teleconferencing, gaming, and AR/VR. Human hands are the primary tool for interacting with the environment and essential for realistic human behavior modeling, yet existing 3D hand and head avatar models often overlook the crucial aspect of hand-body interactions, such as between hand and face. We present InteracttAvatar, the first model to faithfully capture the photorealistic appearance of dynamic hand and non-rigid hand-face interactions. Our novel Dynamic Gaussian Hand model, combining template model and 3D Gaussian Splatting as well as a dynamic refinement module, captures pose-dependent change, e.g. the fine wrinkles and complex shadows that occur during articulation. Importantly, our hand-face interaction module models the subtle geometry and appearance dynamics that underlie common gestures. Through experiments of novel view synthesis, self reenactment and cross-identity reenactment, we demonstrate that InteracttAvatar can reconstruct hand and hand-face interactions from monocular or multiview videos with high-fidelity details and be animated with novel poses.
• Abstract（参考訳）: デジタルアバターにおけるコミュニティからの関心が高まり、コミュニケーションにおける表現やジェスチャーの重要性と相まって、自然なアバターの振る舞いをモデル化することは、遠隔会議、ゲーム、AR/VRといった多くの産業において重要な課題である。 人間の手は、環境と対話するための主要なツールであり、現実的な人間の行動モデリングに不可欠なものであるが、既存の3Dの手と頭アバターモデルは、手と顔のような手と体の相互作用の重要な側面を見落としていることが多い。 InacttAvatarは、動的ハンドおよび非剛性ハンドフェイスインタラクションの光リアルな外観を忠実に捉えた最初のモデルである。 テンプレートモデルと3次元ガウススプラッティングと動的改良モジュールを組み合わせた新しい動的ガウスハンドモデルでは,調音中に発生する微細なしわや複雑な影など,ポーズ依存的な変化を捉えている。 重要なことに、我々の手と顔の相互作用モジュールは、一般的なジェスチャーの根底にある微妙な幾何学と外見のダイナミクスをモデル化する。 新規な視点合成、自己再現、相互同一性再現の実験を通じて、InteracttAvatarはモノクロ・マルチビュービデオから手と顔のインタラクションを高精細度で再現し、新しいポーズでアニメーションできることを実証した。

関連論文リスト

• BimArt: A Unified Approach for the Synthesis of 3D Bimanual Interaction with Articulated Objects [70.20706475051347]
  BimArtは3Dバイマニュアルハンドインタラクションを音声オブジェクトと合成するための新しい生成手法である。 まず, 物体軌道上に配置された距離ベースの接触マップを, 音声認識特徴表現を用いて生成する。 学習された接触は手の動き生成装置のガイドに使われ、物体の動きや調音のための多彩で現実的なバイマニュアルの動きが生成されます。
  論文  参考訳（メタデータ） (2024-12-06T14:23:56Z)
• XHand: Real-time Expressive Hand Avatar [9.876680405587745]
  我々は,手形,外観,変形をリアルタイムで生成できる表現力のある手形アバターXHandを紹介した。 XHandは、さまざまなポーズをリアルタイムで横断する手動アニメーションのための高忠実な幾何学とテクスチャを復元することができる。
  論文  参考訳（メタデータ） (2024-07-30T17:49:21Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• Hand-Centric Motion Refinement for 3D Hand-Object Interaction via Hierarchical Spatial-Temporal Modeling [18.128376292350836]
  粗い手の動き改善のためのデータ駆動方式を提案する。 まず,手と物体の動的空間的関係を記述するために,手中心の表現を設計する。 第2に,手動物体相互作用の動的手がかりを捉えるために,新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-29T09:17:51Z)
• From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
  音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。 ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。 実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T18:55:16Z)
• GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
  手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
  論文  参考訳（メタデータ） (2023-08-22T17:59:51Z)
• Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views [41.50710846018882]
  スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。 まず,手や物体の形状や外観を,神経表現と別々に学習する。 オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-22T05:17:41Z)
• Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing [49.96406805006839]
  リアルな衣服の動態とリアルなデータから学んだフォトリアリスティックな外観の両方を示す衣服の明示的なモデリングを施したポーズ駆動アバターを紹介した。 我々の重要な貢献は物理的にインスパイアされた外観ネットワークであり、視界依存的かつダイナミックな影効果を持つ光リアルな外観を生成できる。
  論文  参考訳（メタデータ） (2022-06-30T17:58:20Z)
• NIMBLE: A Non-rigid Hand Model with Bones and Muscles [41.19718491215149]
  NIMBLEは、欠落鍵成分を含む新しいパラメトリックハンドモデルである。 NIMBLEは、三角形のメッシュとして20の骨、四面体メッシュとして7つの筋肉群、皮膚メッシュからなる。 NIMBLEをモデリング、レンダリング、視覚的推論タスクに適用する。
  論文  参考訳（メタデータ） (2022-02-09T15:57:21Z)
• Style and Pose Control for Image Synthesis of Humans from a Single Monocular View [78.6284090004218]
  StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。 我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。 StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
  論文  参考訳（メタデータ） (2021-02-22T18:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。