論文の概要: HINT: Learning Complete Human Neural Representations from Limited Viewpoints

• arxiv url: http://arxiv.org/abs/2405.19712v1
• Date: Thu, 30 May 2024 05:43:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 17:57:08.508204
• Title: HINT: Learning Complete Human Neural Representations from Limited Viewpoints
• Title（参考訳）: HINT: 限られた視点から完全な人間の神経表現を学習する
• Authors: Alessandro Sanvito, Andrea Ramazzina, Stefanie Walz, Mario Bijelic, Felix Heide,
• Abstract要約: 我々は、限られた視野角から詳細な人間のモデルを学習できるNeRFベースのアルゴリズムを提案する。 その結果,数個の視角からでも完全な人間の再構築が可能となり,性能は15%以上向上した。
• 参考スコア（独自算出の注目度）: 69.76947323932107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: No augmented application is possible without animated humanoid avatars. At the same time, generating human replicas from real-world monocular hand-held or robotic sensor setups is challenging due to the limited availability of views. Previous work showed the feasibility of virtual avatars but required the presence of 360 degree views of the targeted subject. To address this issue, we propose HINT, a NeRF-based algorithm able to learn a detailed and complete human model from limited viewing angles. We achieve this by introducing a symmetry prior, regularization constraints, and training cues from large human datasets. In particular, we introduce a sagittal plane symmetry prior to the appearance of the human, directly supervise the density function of the human model using explicit 3D body modeling, and leverage a co-learned human digitization network as additional supervision for the unseen angles. As a result, our method can reconstruct complete humans even from a few viewing angles, increasing performance by more than 15% PSNR compared to previous state-of-the-art algorithms.
• Abstract（参考訳）: アニメーションのヒューマノイドアバターがなければ、拡張アプリケーションは不可能である。 同時に、現実のモノクラーハンドヘルドやロボットセンサーのセットアップから人間のレプリカを生成することは、ビューが限られているため困難である。 従来の研究は仮想アバターの実現可能性を示したが、対象者の360度視認が必要であった。 この問題に対処するために、限定的な視野角から詳細な人間のモデルを学習できる、NeRFベースのアルゴリズムであるHINTを提案する。 我々は、対称性の先行性、正規化制約を導入し、大規模な人間のデータセットからトレーニングキューを学習することで、これを実現する。 特に,人間の出現に先立って矢状面対称性を導入し,明快な3次元体モデルを用いて,人間のモデルの密度関数を直接監督し,非目視角に対する追加的な監視として,共学習された人間のデジタル化ネットワークを活用する。 その結果,従来の最先端アルゴリズムと比較してPSNRが15%以上向上した。

関連論文リスト

• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• Cross-view and Cross-pose Completion for 3D Human Understanding [22.787947086152315]
  画像のみを用いて人間中心のデータを扱う自己教師付き学習に基づく事前学習手法を提案する。 身体中心タスクのためのモデルと手中心タスクのためのモデルを事前訓練する。 汎用的なトランスフォーマーアーキテクチャでは、これらのモデルは、広範囲の人間中心の下流タスクにおいて、既存の自己教師付き事前学習方法より優れている。
  論文  参考訳（メタデータ） (2023-11-15T16:51:18Z)
• X-Avatar: Expressive Human Avatars [33.24502928725897]
  我々は、デジタル人間の完全な表現性を捉え、テレプレゼンス、AR/VRなどのライフライクな体験をもたらす新しいアバターモデルであるX-アバターを提示する。 本手法は,体,手,表情,外観を包括的にモデル化し,フル3DスキャンまたはRGB-Dデータから学習することができる。
  論文  参考訳（メタデータ） (2023-03-08T18:59:39Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。