論文の概要: Learning Interaction-aware 3D Gaussian Splatting for One-shot Hand Avatars

• arxiv url: http://arxiv.org/abs/2410.08840v1
• Date: Fri, 11 Oct 2024 14:14:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 21:45:38.112954
• Title: Learning Interaction-aware 3D Gaussian Splatting for One-shot Hand Avatars
• Title（参考訳）: ワンショットハンドアバターのための対話型3次元ガウススプレイティングの学習
• Authors: Xuan Huang, Hanhui Li, Wanquan Liu, Xiaodan Liang, Yiqiang Yan, Yuhao Cheng, Chengqiang Gao,
• Abstract要約: 本稿では,3次元ガウススプラッティング(GS)と単一画像入力と手を相互作用するアニマタブルアバターを提案する。 提案手法は大規模なInterHand2.6Mデータセットの広範な実験により検証される。
• 参考スコア（独自算出の注目度）: 47.61442517627826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose to create animatable avatars for interacting hands with 3D Gaussian Splatting (GS) and single-image inputs. Existing GS-based methods designed for single subjects often yield unsatisfactory results due to limited input views, various hand poses, and occlusions. To address these challenges, we introduce a novel two-stage interaction-aware GS framework that exploits cross-subject hand priors and refines 3D Gaussians in interacting areas. Particularly, to handle hand variations, we disentangle the 3D presentation of hands into optimization-based identity maps and learning-based latent geometric features and neural texture maps. Learning-based features are captured by trained networks to provide reliable priors for poses, shapes, and textures, while optimization-based identity maps enable efficient one-shot fitting of out-of-distribution hands. Furthermore, we devise an interaction-aware attention module and a self-adaptive Gaussian refinement module. These modules enhance image rendering quality in areas with intra- and inter-hand interactions, overcoming the limitations of existing GS-based methods. Our proposed method is validated via extensive experiments on the large-scale InterHand2.6M dataset, and it significantly improves the state-of-the-art performance in image quality. Project Page: \url{https://github.com/XuanHuang0/GuassianHand}.
• Abstract（参考訳）: 本稿では,3次元ガウススプラッティング(GS)と単一画像入力と手を相互作用するアニマタブルアバターを提案する。 単科目向けに設計された既存のGSベースの手法は、限られた入力ビュー、様々なポーズ、オクルージョンによって満足のいく結果をもたらすことが多い。 これらの課題に対処するために,2段階の相互作用を意識した新しいGSフレームワークを導入する。 特に手の動きに対処するため、最適化に基づくアイデンティティマップと学習に基づく潜在幾何学的特徴とニューラルテクスチャマップに手の手の3Dプレゼンテーションを分離する。 学習ベースの機能は、ポーズ、形状、テクスチャの信頼性の高い事前情報を提供するために訓練されたネットワークによってキャプチャされ、最適化ベースのアイデンティティマップは、アウト・オブ・ディストリビューションハンドの効率的なワンショットフィッティングを可能にする。 さらに,対話対応型注目モジュールと自己適応型ガウス改良モジュールを考案した。 これらのモジュールは、既存のGSベースの手法の限界を克服し、手動と手動の相互作用のある領域における画像のレンダリング品質を向上させる。 提案手法は,大規模なInterHand2.6Mデータセットの広範な実験により検証され,画像品質の最先端性能を著しく向上する。 Project Page: \url{https://github.com/XuanHuang0/GuassianHand}

関連論文リスト

• An Advanced Deep Learning Based Three-Stream Hybrid Model for Dynamic Hand Gesture Recognition [1.7985212575295124]
  本稿では,RGBピクセルとスケルトンベースの特徴を組み合わせた3ストリームハイブリッドモデルを提案する。 手順では、拡張を含むデータセットを前処理し、回転、翻訳、独立系をスケールしました。 主に,画素ベースの深層学習機能とpos推定ベースの積み重ね深層学習機能を利用して,強力な特徴ベクトルを作成した。
  論文  参考訳（メタデータ） (2024-08-15T09:05:00Z)
• HandDAGT: A Denoising Adaptive Graph Transformer for 3D Hand Pose Estimation [15.606904161622017]
  本稿では,ハンドポーズ推定のためのDenoising Adaptive Graph Transformer(HandDAGT)を提案する。 特定のキーポイントを推定するための運動対応と局所幾何学的特徴の寄与を適応的に評価する新しい注意機構が組み込まれている。 実験の結果,提案手法は4つの手ポーズベンチマークデータセットにおいて,既存の手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-07-30T04:53:35Z)
• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• A hybrid classification-regression approach for 3D hand pose estimation using graph convolutional networks [1.0152838128195467]
  目的ごとの関係制約を学習する2段階のGCNベースのフレームワークを提案する。 第1フェーズは2D/3D空間を量子化し、その局所性に基づいて関節を2D/3Dブロックに分類する。 第2段階ではGCNベースのモジュールを使用し、隣り合う適応アルゴリズムを用いて関節関係を決定する。
  論文  参考訳（メタデータ） (2021-05-23T10:09:10Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。