論文の概要: Realistic Hands: A Hybrid Model for 3D Hand Reconstruction

• arxiv url: http://arxiv.org/abs/2108.13995v1
• Date: Tue, 31 Aug 2021 17:40:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 15:24:52.934216
• Title: Realistic Hands: A Hybrid Model for 3D Hand Reconstruction
• Title（参考訳）: Realistic Hands: 3Dハンドコンストラクションのためのハイブリッドモデル
• Authors: Michael Seeber, Martin R. Oswald, Roi Poranne
• Abstract要約: RGB画像から3Dハンドメッシュを強く推定することは、非常に望ましい課題である。 従来の方法は一般的にパラメトリックな3Dハンドモデルを使用するか、モデルフリーアプローチに従う。 本稿では,ディープニューラルネットワークとディファレンシャルレンダリングに基づく最適化を併用したハイブリッドアプローチを提案する。
• 参考スコア（独自算出の注目度）: 14.87768436388877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating 3D hand meshes from RGB images robustly is a highly desirable task, made challenging due to the numerous degrees of freedom, and issues such as self similarity and occlusions. Previous methods generally either use parametric 3D hand models or follow a model-free approach. While the former can be considered more robust, e.g. to occlusions, they are less expressive. We propose a hybrid approach, utilizing a deep neural network and differential rendering based optimization to demonstrably achieve the best of both worlds. In addition, we explore Virtual Reality (VR) as an application. Most VR headsets are nowadays equipped with multiple cameras, which we can leverage by extending our method to the egocentric stereo domain. This extension proves to be more resilient to the above mentioned issues. Finally, as a use-case, we show that the improved image-model alignment can be used to acquire the user's hand texture, which leads to a more realistic virtual hand representation.
• Abstract（参考訳）: rgb画像からロバストに3dハンドメッシュを推定することは非常に望ましい作業であり、多くの自由度と自己の類似性やオクルージョンなどの問題のために課題となった。 従来の方法は、パラメトリック3dハンドモデルを使うか、モデルフリーのアプローチに従う。 前者はより堅牢であると見なすことができる。 排他的に 表現力は低いのです 本稿では,ディープニューラルネットワークと差分レンダリングに基づく最適化を用いて,両世界のベストを実証的に達成するハイブリッド手法を提案する。 さらに,仮想現実(vr)をアプリケーションとして検討する。 ほとんどのvrヘッドセットは、現在複数のカメラを搭載しており、これをエゴセントリックステレオドメインに拡張することで活用することができる。 この拡張は上記の問題に対してより回復力があることを証明している。 最後に, 改良された画像モデルアライメントを用いて, ユーザの手のテクスチャを取得することで, より現実的な仮想手表現を実現することを示す。

関連論文リスト

• JGHand: Joint-Driven Animatable Hand Avater via 3D Gaussian Splatting [3.1143479095236892]
  Jointly 3D Gaussian Hand (JGHand)は、新しい3D Gaussian Splatting (3DGS)ベースの手表現である。 JGHandは、最先端の手法を超越した、高品質なリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2025-01-31T12:33:24Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• HARP: Personalized Hand Reconstruction from a Monocular RGB Video [37.384221764796095]
  本稿では,ヒトの手の短い単眼的RGB映像を入力として用いた,パーソナライズされた手指アバター作成手法であるHARPを提案する。 神経暗黙表現の大きな傾向とは対照的に、HARPはメッシュベースのパラメトリックハンドモデルで手をモデル化する。 HarPはリアルタイムレンダリング機能を備えたAR/VRアプリケーションで直接使用することができる。
  論文  参考訳（メタデータ） (2022-12-19T15:21:55Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
  3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。 既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。 本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T18:33:49Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。