論文の概要: Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering
- arxiv url: http://arxiv.org/abs/2407.05680v1
- Date: Mon, 8 Jul 2024 07:28:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 16:40:17.406932
- Title: Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering
- Title（参考訳）: 逆レンダリングを用いたファイングラインド多視点ハンドコンストラクション
- Authors: Qijun Gan, Wentong Li, Jinwei Ren, Jianke Zhu,
- Abstract要約: 本稿では,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する多視点ハンドメッシュ再構成手法を提案する。
また、ハンドメッシュとテクスチャの両方を洗練させるために、新しいハンドアルベドとメッシュ(HAM)最適化モジュールも導入した。
提案手法は,再現精度とレンダリング品質の両面において,最先端の手法よりも優れている。
- 参考スコア（独自算出の注目度）: 11.228453237603834
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing high-fidelity hand models with intricate textures plays a crucial role in enhancing human-object interaction and advancing real-world applications. Despite the state-of-the-art methods excelling in texture generation and image rendering, they often face challenges in accurately capturing geometric details. Learning-based approaches usually offer better robustness and faster inference, which tend to produce smoother results and require substantial amounts of training data. To address these issues, we present a novel fine-grained multi-view hand mesh reconstruction method that leverages inverse rendering to restore hand poses and intricate details. Firstly, our approach predicts a parametric hand mesh model through Graph Convolutional Networks (GCN) based method from multi-view images. We further introduce a novel Hand Albedo and Mesh (HAM) optimization module to refine both the hand mesh and textures, which is capable of preserving the mesh topology. In addition, we suggest an effective mesh-based neural rendering scheme to simultaneously generate photo-realistic image and optimize mesh geometry by fusing the pre-trained rendering network with vertex features. We conduct the comprehensive experiments on InterHand2.6M, DeepHandMesh and dataset collected by ourself, whose promising results show that our proposed approach outperforms the state-of-the-art methods on both reconstruction accuracy and rendering quality. Code and dataset are publicly available at https://github.com/agnJason/FMHR.
- Abstract（参考訳）: 複雑なテクスチャで高忠実度ハンドモデルを再構築することは、人間と物体の相互作用を高め、現実世界の応用を前進させる上で重要な役割を担っている。
テクスチャ生成や画像レンダリングに優れた最先端の手法にもかかわらず、幾何学的詳細を正確に捉えることの難しさに直面することが多い。
学習ベースのアプローチは、通常、より堅牢で高速な推論を提供する。
これらの問題に対処するために,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する,細粒度なマルチビューハンドメッシュ再構築手法を提案する。
まず,マルチビュー画像からグラフ畳み込みネットワーク(GCN)に基づくパラメトリックハンドメッシュモデルを予測する。
さらに、メッシュトポロジの保存が可能なハンドメッシュとテクスチャの両方を洗練するための、新しいハンドアルベドとメッシュ(HAM)最適化モジュールを導入する。
さらに,提案手法は,事前学習したレンダリングネットワークを頂点特徴と融合させることで,写真リアルな画像とメッシュ形状を同時に生成し,メッシュ形状を最適化する。
我々は、InterHand2.6M、DeepHandMesh、および私たち自身が収集したデータセットに関する総合的な実験を行い、その有望な結果は、提案手法が再構築精度とレンダリング品質の両方において最先端の手法より優れていることを示している。
コードとデータセットはhttps://github.com/agnJason/FMHR.comで公開されている。
関連論文リスト
- GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
マルチビュー画像から3次元メッシュを再構成する手法を提案する。
提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
論文 参考訳（メタデータ） (2024-06-09T05:19:24Z) - Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction [40.45683488053611]
一貫性のあるトポロジにおける顔メッシュは、多くの顔関連アプリケーションの基盤となる。
トポロジを保存しながらメッシュ形状を直接最適化するメッシュボリュームレンダリング手法を提案する。
主要なイノベーションは、ボリュームレンダリングに必要な放射界をシミュレートするために、スパースメッシュ機能を周辺空間に広めることである。
論文 参考訳（メタデータ） (2024-04-08T15:25:50Z) - HiFiHR: Enhancing 3D Hand Reconstruction from a Single Image via
High-Fidelity Texture [40.012406098563204]
一つの画像から学習フレームワークのレンダリング・アンド・コンパレンスを利用する高忠実手再構成手法であるHiFiHRを提案する。
FreiHAND や HO-3D などの公開ベンチマークによる実験結果から, テクスチャ再構築における手作り工法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-08-25T18:48:40Z) - TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using
Differentiable Rendering [54.35405028643051]
スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。
提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。
我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
論文 参考訳（メタデータ） (2023-03-27T10:07:52Z) - HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。
我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
論文 参考訳（メタデータ） (2023-03-24T06:19:19Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - Joint Learning of Deep Texture and High-Frequency Features for
Computer-Generated Image Detection [24.098604827919203]
本稿では,CG画像検出のための深いテクスチャと高周波特徴を有する共同学習戦略を提案する。
セマンティックセグメンテーションマップを生成して、アフィン変換操作を誘導する。
原画像と原画像の高周波成分の組み合わせを、注意機構を備えたマルチブランチニューラルネットワークに供給する。
論文 参考訳（メタデータ） (2022-09-07T17:30:40Z) - Efficient Textured Mesh Recovery from Multiple Views with Differentiable
Rendering [8.264851594332677]
マルチビュー画像からテクスチャメッシュを復元する手法を提案する。
学習ベース多視点ステレオアルゴリズムにより予測される深度との差を最小化することにより形状形状を最適化する。
形状や色に対する暗黙的なニューラル表現とは対照的に,物体の光と反射を共同で推定する物理ベース逆レンダリング方式を導入する。
論文 参考訳（メタデータ） (2022-05-25T03:33:55Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-06T04:16:06Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳（メタデータ） (2020-04-01T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。