論文の概要: GHNeRF: Learning Generalizable Human Features with Efficient Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2404.06246v1
• Date: Tue, 9 Apr 2024 12:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 14:50:19.012535
• Title: GHNeRF: Learning Generalizable Human Features with Efficient Neural Radiance Fields
• Title（参考訳）: GHNeRF:高能率ニューラルネットワークを用いた一般化可能なヒューマン特徴の学習
• Authors: Arnab Dey, Di Yang, Rohith Agaram, Antitza Dantcheva, Andrew I. Comport, Srinath Sridhar, Jean Martinet,
• Abstract要約: 我々は,人体の2D/3D関節位置をNeRF表現で学習することで,限界に対処するために設計されたGHNeRFを紹介する。 GHNeRFは、トレーニング済みの2Dエンコーダを使用して、2D画像から重要な人間の特徴を抽出し、NeRFフレームワークに組み込まれる。 以上の結果から,GHNeRFは最先端の成果をほぼリアルタイムに達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 12.958200963257381
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in Neural Radiance Fields (NeRF) have demonstrated promising results in 3D scene representations, including 3D human representations. However, these representations often lack crucial information on the underlying human pose and structure, which is crucial for AR/VR applications and games. In this paper, we introduce a novel approach, termed GHNeRF, designed to address these limitations by learning 2D/3D joint locations of human subjects with NeRF representation. GHNeRF uses a pre-trained 2D encoder streamlined to extract essential human features from 2D images, which are then incorporated into the NeRF framework in order to encode human biomechanic features. This allows our network to simultaneously learn biomechanic features, such as joint locations, along with human geometry and texture. To assess the effectiveness of our method, we conduct a comprehensive comparison with state-of-the-art human NeRF techniques and joint estimation algorithms. Our results show that GHNeRF can achieve state-of-the-art results in near real-time.
• Abstract（参考訳）: 近年のNeural Radiance Fields (NeRF) の進歩は、3次元の人間の表現を含む3次元のシーン表現において有望な結果を示している。 しかし、これらの表現は、AR/VRアプリケーションやゲームにとって重要な、基礎となる人間のポーズと構造に関する重要な情報を欠いていることが多い。 本稿では,人体の2D/3D関節位置をNeRF表現で学習することで,これらの制約に対処する新しい手法GHNeRFを提案する。 GHNeRFは、トレーニング済みの2Dエンコーダを使用して、2D画像から重要な人間の特徴を抽出し、人間の生体力学的特徴をエンコードするためにNeRFフレームワークに組み込まれる。 これにより、ネットワークは人間の幾何学やテクスチャとともに、関節位置などの生体力学的特徴を同時に学習することができる。 提案手法の有効性を評価するため,最先端のヒトNeRF技術と共同推定アルゴリズムを総合的に比較した。 以上の結果から,GHNeRFは最先端の成果をほぼリアルタイムに達成できることが示唆された。

関連論文リスト

• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• HFNeRF: Learning Human Biomechanic Features with Neural Radiance Fields [11.961164199224351]
  HFNeRF(HFNeRF)は、ヒトの生体力学的特徴を生成することを目的とした、新しい一般化可能なヒト機能NeRFである。 我々は,ニューラルネットワークを用いて3次元の人間の特徴を学習するために,2次元事前学習基礎モデルを活用する。 骨格推定作業におけるHFNeRFの評価は,熱マップを特徴として予測することで行う。
  論文  参考訳（メタデータ） (2024-04-09T09:23:04Z)
• InceptionHuman: Controllable Prompt-to-NeRF for Photorealistic 3D Human Generation [61.62346472443454]
  InceptionHumanは、異なるモードのプロンプトの組み合わせで簡単にコントロールでき、フォトリアリスティックな3D人間を生成することができるプロンプト・トゥ・NeRFフレームワークである。 InceptionHumanは、徐々に洗練されたNeRF空間内で、一貫した3Dヒューマン生成を実現する。
  論文  参考訳（メタデータ） (2023-11-27T15:49:41Z)
• BeyondPixels: A Comprehensive Review of the Evolution of Neural Radiance Fields [1.1531932979578041]
  NeRF(Neural Radiance Fieldsの略)は、AIアルゴリズムを使用して2D画像から3Dオブジェクトを生成する最近のイノベーションである。 この調査は、最近のNeRFの進歩を概観し、それらのアーキテクチャ設計に従って分類する。
  論文  参考訳（メタデータ） (2023-06-05T16:10:21Z)
• SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
  SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。 本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
  論文  参考訳（メタデータ） (2023-03-22T17:59:12Z)
• FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation Models [21.523836478458524]
  一般化可能なNeRFに関する最近の研究は、単一または少数の画像からの新規なビュー合成に関する有望な結果を示している。 本研究では,事前学習された視覚モデルを蒸留することにより,一般化可能なNeRFを学習するためのFeatureNeRFという新しいフレームワークを提案する。 一般化可能な3次元特徴抽出器としてのFeatureNeRFの有効性を実証した。
  論文  参考訳（メタデータ） (2023-03-22T17:57:01Z)
• Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field [55.431697263581626]
  セマンティックな3次元画像合成と操作のための合成ニューラルネットワーク場(CNeRF)を提案する。 CNeRFは、イメージを意味領域に分割し、各領域の独立した神経放射場を学び、最終的にそれらを融合し、完全な画像をレンダリングする。 最先端の3D-Aware GAN法と比較して,我々は高品質な3D一貫性合成を維持しつつ,きめ細かな意味領域操作を可能にする。
  論文  参考訳（メタデータ） (2023-02-03T07:17:46Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。