論文の概要: HiFiHR: Enhancing 3D Hand Reconstruction from a Single Image via High-Fidelity Texture

• arxiv url: http://arxiv.org/abs/2308.13628v1
• Date: Fri, 25 Aug 2023 18:48:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 20:06:27.166145
• Title: HiFiHR: Enhancing 3D Hand Reconstruction from a Single Image via High-Fidelity Texture
• Title（参考訳）: HiFiHR:高忠実なテクスチャによる1枚の画像からの3Dハンドリコンストラクションの実現
• Authors: Jiayin Zhu, Zhuoran Zhao, Linlin Yang, Angela Yao
• Abstract要約: 一つの画像から学習フレームワークのレンダリング・アンド・コンパレンスを利用する高忠実手再構成手法であるHiFiHRを提案する。 FreiHAND や HO-3D などの公開ベンチマークによる実験結果から, テクスチャ再構築における手作り工法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 40.012406098563204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present HiFiHR, a high-fidelity hand reconstruction approach that utilizes render-and-compare in the learning-based framework from a single image, capable of generating visually plausible and accurate 3D hand meshes while recovering realistic textures. Our method achieves superior texture reconstruction by employing a parametric hand model with predefined texture assets, and by establishing a texture reconstruction consistency between the rendered and input images during training. Moreover, based on pretraining the network on an annotated dataset, we apply varying degrees of supervision using our pipeline, i.e., self-supervision, weak supervision, and full supervision, and discuss the various levels of contributions of the learned high-fidelity textures in enhancing hand pose and shape estimation. Experimental results on public benchmarks including FreiHAND and HO-3D demonstrate that our method outperforms the state-of-the-art hand reconstruction methods in texture reconstruction quality while maintaining comparable accuracy in pose and shape estimation. Our code is available at https://github.com/viridityzhu/HiFiHR.
• Abstract（参考訳）: 現実的なテクスチャを回復しながら、視覚的に可視かつ正確な3Dハンドメッシュを生成することができる、学習ベースフレームワークのレンダリング・アンド・コンプリートを利用した高忠実な手再構成手法であるHiFiHRを提案する。 本手法は,事前定義されたテクスチャアセットを持つパラメトリックハンドモデルを用い,学習中のレンダリング画像と入力画像のテクスチャ再構成一貫性を確立することにより,優れたテクスチャ再構成を実現する。 さらに,アノテートされたデータセット上でネットワークを事前トレーニングすることにより,パイプライン,すなわち自己スーパービジョン,弱いスーパービジョン,完全なスーパービジョンを用いて,様々なレベルの監視を行い,手の位置や形状推定における学習された高忠実度テクスチャの多様な貢献度について考察する。 FreiHAND や HO-3D などの公開ベンチマーク実験の結果,提案手法はテクスチャ再構築品質において,ポーズや形状推定において同等の精度を維持しつつ,最先端の手作り手法よりも優れていた。 私たちのコードはhttps://github.com/viridityzhu/hifihrで利用可能です。

関連論文リスト

• MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References [49.71130133080821]
  MaRINeRは、近くのマッピング画像の情報を活用して、ターゲット視点のレンダリングを改善する方法である。 暗黙のシーン表現と暗黙のシーン表現の両方から、定量的な指標と定性的な例のレンダリングの改善を示す。
  論文  参考訳（メタデータ） (2024-07-18T17:50:03Z)
• Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering [11.228453237603834]
  本稿では,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する多視点ハンドメッシュ再構成手法を提案する。 また、ハンドメッシュとテクスチャの両方を洗練させるために、新しいハンドアルベドとメッシュ(HAM)最適化モジュールも導入した。 提案手法は,再現精度とレンダリング品質の両面において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-08T07:28:24Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering [54.35405028643051]
  スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。 提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。 我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
  論文  参考訳（メタデータ） (2023-03-27T10:07:52Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• ReFu: Refine and Fuse the Unobserved View for Detail-Preserving Single-Image 3D Human Reconstruction [31.782985891629448]
  シングルイメージの3次元再構成は,1枚の画像から人体の3次元テクスチャ面を再構築することを目的としている。 提案するReFuは、投影された背景像を精細化し、その精細な画像を融合して最終人体を予測するための粗大なアプローチである。
  論文  参考訳（メタデータ） (2022-11-09T09:14:11Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks [32.859340851346786]
  本研究では,一眼レフ画像から高忠実度テクスチャで3次元顔形状を再構成する手法を提案する。 提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-03-12T08:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。