論文の概要: HFNeRF: Learning Human Biomechanic Features with Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2404.06152v1
• Date: Tue, 9 Apr 2024 09:23:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 15:19:37.091137
• Title: HFNeRF: Learning Human Biomechanic Features with Neural Radiance Fields
• Title（参考訳）: HFNeRF: 神経放射場を用いた生体力学的特徴の学習
• Authors: Arnab Dey, Di Yang, Antitza Dantcheva, Jean Martinet,
• Abstract要約: HFNeRF(HFNeRF)は、ヒトの生体力学的特徴を生成することを目的とした、新しい一般化可能なヒト機能NeRFである。 我々は,ニューラルネットワークを用いて3次元の人間の特徴を学習するために,2次元事前学習基礎モデルを活用する。 骨格推定作業におけるHFNeRFの評価は,熱マップを特徴として予測することで行う。
• 参考スコア（独自算出の注目度）: 11.961164199224351
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent advancements in novel view synthesis, generalizable Neural Radiance Fields (NeRF) based methods applied to human subjects have shown remarkable results in generating novel views from few images. However, this generalization ability cannot capture the underlying structural features of the skeleton shared across all instances. Building upon this, we introduce HFNeRF: a novel generalizable human feature NeRF aimed at generating human biomechanic features using a pre-trained image encoder. While previous human NeRF methods have shown promising results in the generation of photorealistic virtual avatars, such methods lack underlying human structure or biomechanic features such as skeleton or joint information that are crucial for downstream applications including Augmented Reality (AR)/Virtual Reality (VR). HFNeRF leverages 2D pre-trained foundation models toward learning human features in 3D using neural rendering, and then volume rendering towards generating 2D feature maps. We evaluate HFNeRF in the skeleton estimation task by predicting heatmaps as features. The proposed method is fully differentiable, allowing to successfully learn color, geometry, and human skeleton in a simultaneous manner. This paper presents preliminary results of HFNeRF, illustrating its potential in generating realistic virtual avatars with biomechanic features using NeRF.
• Abstract（参考訳）: 近年の新規な視線合成の進歩の中で,人体に応用された一般化可能なニューラルレイディアンス場(NeRF)法は,少ない画像から新たな視線を生成する際,顕著な結果を示した。 しかし、この一般化能力は全てのインスタンスで共有される骨格の構造的特徴を捉えることはできない。 そこで我々は,HFNeRFを紹介した。HFNeRFは,ヒトの生体力学的特徴を事前に学習した画像エンコーダを用いて生成することを目的とした,新しい一般化可能な人体機能NeRFである。 従来のヒトのNeRF法は、フォトリアリスティックな仮想アバターの生成において有望な結果を示しているが、これらの手法には、Augmented Reality (AR)やVirtual Reality (VR)といった下流アプリケーションにとって重要な人体構造や、骨格や関節情報といった生体力学的特徴が欠如している。 HFNeRFは、ニューラルネットワークを使用して3Dで人間の特徴を学習し、2D特徴マップを生成するためのボリュームレンダリングに、2D事前訓練された基礎モデルを活用する。 骨格推定作業におけるHFNeRFの評価は,熱マップを特徴として予測することで行う。 提案手法は, 色, 形状, 人体骨格を同時に学習することが可能である。 本稿では,HFNeRFを用いたバイオメカニカルな仮想アバターの創出の可能性について述べる。

関連論文リスト

• GHNeRF: Learning Generalizable Human Features with Efficient Neural Radiance Fields [12.958200963257381]
  我々は,人体の2D/3D関節位置をNeRF表現で学習することで,限界に対処するために設計されたGHNeRFを紹介する。 GHNeRFは、トレーニング済みの2Dエンコーダを使用して、2D画像から重要な人間の特徴を抽出し、NeRFフレームワークに組み込まれる。 以上の結果から,GHNeRFは最先端の成果をほぼリアルタイムに達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-09T12:11:25Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• InceptionHuman: Controllable Prompt-to-NeRF for Photorealistic 3D Human Generation [61.62346472443454]
  InceptionHumanは、異なるモードのプロンプトの組み合わせで簡単にコントロールでき、フォトリアリスティックな3D人間を生成することができるプロンプト・トゥ・NeRFフレームワークである。 InceptionHumanは、徐々に洗練されたNeRF空間内で、一貫した3Dヒューマン生成を実現する。
  論文  参考訳（メタデータ） (2023-11-27T15:49:41Z)
• BeyondPixels: A Comprehensive Review of the Evolution of Neural Radiance Fields [1.1531932979578041]
  NeRF(Neural Radiance Fieldsの略)は、AIアルゴリズムを使用して2D画像から3Dオブジェクトを生成する最近のイノベーションである。 この調査は、最近のNeRFの進歩を概観し、それらのアーキテクチャ設計に従って分類する。
  論文  参考訳（メタデータ） (2023-06-05T16:10:21Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
  SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。 本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
  論文  参考訳（メタデータ） (2023-03-22T17:59:12Z)
• HDHumans: A Hybrid Approach for High-fidelity Digital Humans [107.19426606778808]
  HDHumansは、正確な時間的コヒーレントな3D変形面を共同で生成する、HDヒューマン文字合成の最初の方法である。 我々の手法は、古典的表面変形とニューラル放射場(NeRF)の相乗効果を達成するために慎重に設計されている。
  論文  参考訳（メタデータ） (2022-10-21T14:42:11Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras [17.18904717379273]
  没入型VR/AR体験には, 人間の活動の4次元再構築とレンダリングが不可欠である。 近年の進歩は、細かなマルチビューRGBカメラから入力画像の細部まで詳細な形状やテクスチャの再現には至っていない。 本稿では,人間の活動の質の高い幾何学的,フォトリアリスティックなテクスチャを任意の視点で生成する,リアルタイムのニューラルヒューマンパフォーマンスキャプチャとレンダリングシステムを提案する。
  論文  参考訳（メタデータ） (2021-03-13T12:03:38Z)
• Learning Compositional Radiance Fields of Dynamic Human Heads [13.272666180264485]
  従来の方法のベストを組み合わせ、高分解能と高速な結果の両方を生成する新しい合成3D表現を提案します。 異なるボリュームレンダリングを用いて、人間の頭部と上半身のフォトリアリスティックなノベルビューを計算する。 本研究は,人間の頭と上半身の新たな視線を合成する手法である。
  論文  参考訳（メタデータ） (2020-12-17T22:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。