論文の概要: HiFiHR: Enhancing 3D Hand Reconstruction from a Single Image via
High-Fidelity Texture
- arxiv url: http://arxiv.org/abs/2308.13628v1
- Date: Fri, 25 Aug 2023 18:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 20:06:27.166145
- Title: HiFiHR: Enhancing 3D Hand Reconstruction from a Single Image via
High-Fidelity Texture
- Title(参考訳): HiFiHR:高忠実なテクスチャによる1枚の画像からの3Dハンドリコンストラクションの実現
- Authors: Jiayin Zhu, Zhuoran Zhao, Linlin Yang, Angela Yao
- Abstract要約: 一つの画像から学習フレームワークのレンダリング・アンド・コンパレンスを利用する高忠実手再構成手法であるHiFiHRを提案する。
FreiHAND や HO-3D などの公開ベンチマークによる実験結果から, テクスチャ再構築における手作り工法よりも優れた性能を示した。
- 参考スコア(独自算出の注目度): 40.012406098563204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present HiFiHR, a high-fidelity hand reconstruction approach that utilizes
render-and-compare in the learning-based framework from a single image, capable
of generating visually plausible and accurate 3D hand meshes while recovering
realistic textures. Our method achieves superior texture reconstruction by
employing a parametric hand model with predefined texture assets, and by
establishing a texture reconstruction consistency between the rendered and
input images during training. Moreover, based on pretraining the network on an
annotated dataset, we apply varying degrees of supervision using our pipeline,
i.e., self-supervision, weak supervision, and full supervision, and discuss the
various levels of contributions of the learned high-fidelity textures in
enhancing hand pose and shape estimation. Experimental results on public
benchmarks including FreiHAND and HO-3D demonstrate that our method outperforms
the state-of-the-art hand reconstruction methods in texture reconstruction
quality while maintaining comparable accuracy in pose and shape estimation. Our
code is available at https://github.com/viridityzhu/HiFiHR.
- Abstract(参考訳): 現実的なテクスチャを回復しながら、視覚的に可視かつ正確な3Dハンドメッシュを生成することができる、学習ベースフレームワークのレンダリング・アンド・コンプリートを利用した高忠実な手再構成手法であるHiFiHRを提案する。
本手法は,事前定義されたテクスチャアセットを持つパラメトリックハンドモデルを用い,学習中のレンダリング画像と入力画像のテクスチャ再構成一貫性を確立することにより,優れたテクスチャ再構成を実現する。
さらに,アノテートされたデータセット上でネットワークを事前トレーニングすることにより,パイプライン,すなわち自己スーパービジョン,弱いスーパービジョン,完全なスーパービジョンを用いて,様々なレベルの監視を行い,手の位置や形状推定における学習された高忠実度テクスチャの多様な貢献度について考察する。
FreiHAND や HO-3D などの公開ベンチマーク実験の結果,提案手法はテクスチャ再構築品質において,ポーズや形状推定において同等の精度を維持しつつ,最先端の手作り手法よりも優れていた。
私たちのコードはhttps://github.com/viridityzhu/hifihrで利用可能です。
関連論文リスト
- TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using
Differentiable Rendering [54.35405028643051]
スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。
提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。
我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
論文 参考訳(メタデータ) (2023-03-27T10:07:52Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - ReFu: Refine and Fuse the Unobserved View for Detail-Preserving
Single-Image 3D Human Reconstruction [31.782985891629448]
シングルイメージの3次元再構成は,1枚の画像から人体の3次元テクスチャ面を再構築することを目的としている。
提案するReFuは、投影された背景像を精細化し、その精細な画像を融合して最終人体を予測するための粗大なアプローチである。
論文 参考訳(メタデータ) (2022-11-09T09:14:11Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z) - Fine Detailed Texture Learning for 3D Meshes with Generative Models [33.42114674602613]
本稿では,多視点画像と単視点画像の両方から高品質なテクスチャ3Dモデルを再構成する手法を提案する。
第1段階では正確な幾何学を学ぶことに集中し、第2段階では、生成的対向ネットワークを用いてテクスチャを学ぶことに集中する。
本手法は従来の手法に比べて優れた3次元テクスチャモデルを実現することを実証する。
論文 参考訳(メタデータ) (2022-03-17T14:50:52Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳(メタデータ) (2021-05-16T16:35:44Z) - Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。
ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。
初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
論文 参考訳(メタデータ) (2021-03-22T10:12:43Z) - Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images
Using Graph Convolutional Networks [32.859340851346786]
本研究では,一眼レフ画像から高忠実度テクスチャで3次元顔形状を再構成する手法を提案する。
提案手法は, 質的, 定量的な比較において, 高品質な結果を生成し, 最先端の手法より優れる。
論文 参考訳(メタデータ) (2020-03-12T08:06:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。