論文の概要: Multi-NeuS: 3D Head Portraits from Single Image with Neural Implicit Functions

• arxiv url: http://arxiv.org/abs/2209.04436v2
• Date: Fri, 8 Sep 2023 21:33:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 23:09:42.186172
• Title: Multi-NeuS: 3D Head Portraits from Single Image with Neural Implicit Functions
• Title（参考訳）: ニューラルインシシデント関数を持つ単一画像からの多眼的3次元頭部画像
• Authors: Egor Burkov, Ruslan Rakhimov, Aleksandr Safin, Evgeny Burnaev, Victor Lempitsky
• Abstract要約: 人間の頭部の3次元再構築を1つか2つの視点から提案する。 基盤となる神経アーキテクチャは、オブジェクトを学習し、モデルを一般化することである。 私たちのモデルは、100本のビデオやワンショットの3Dスキャンに、斬新な頭を収めることができます。
• 参考スコア（独自算出の注目度）: 70.04394678730968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an approach for the reconstruction of textured 3D meshes of human heads from one or few views. Since such few-shot reconstruction is underconstrained, it requires prior knowledge which is hard to impose on traditional 3D reconstruction algorithms. In this work, we rely on the recently introduced 3D representation $\unicode{x2013}$ neural implicit functions $\unicode{x2013}$ which, being based on neural networks, allows to naturally learn priors about human heads from data, and is directly convertible to textured mesh. Namely, we extend NeuS, a state-of-the-art neural implicit function formulation, to represent multiple objects of a class (human heads in our case) simultaneously. The underlying neural net architecture is designed to learn the commonalities among these objects and to generalize to unseen ones. Our model is trained on just a hundred smartphone videos and does not require any scanned 3D data. Afterwards, the model can fit novel heads in the few-shot or one-shot modes with good results.
• Abstract（参考訳）: 人間の頭部のテクスチャ化された3次元メッシュを1つか2つの視点から再構築する手法を提案する。 このような少数ショットの再構成は制約が低いため、従来の3D再構成アルゴリズムに課せ難い事前知識が必要である。 この研究では、最近導入された3D表現 $\unicode{x2013}$ Neural implicit function $\unicode{x2013}$を頼りにしています。 すなわち、最先端のニューラルネットワーク暗黙関数であるNeuSを拡張して、クラスの複数のオブジェクト(私たちの場合、人間の頭)を同時に表現する。 基盤となるニューラルネットアーキテクチャは、これらのオブジェクト間の共通点を学び、目に見えないものに一般化するために設計されている。 私たちのモデルは、わずか100本のスマートフォンビデオで訓練され、スキャンされた3dデータを必要としない。 その後、新作のヘッドをマイナショットモードまたはワンショットモードにフィットさせ、良好な結果が得られる。

関連論文リスト

• Primitive-based 3D Human-Object Interaction Modelling and Programming [59.47308081630886]
  本研究では,人間と物体の両方を符号化する新しい3次元幾何学的原始言語を提案する。 プリミティブと画像を組み合わせた3D HAOIのベンチマークを構築した。 このプリミティブベースの3DHAOI表現は、3DHAOI研究の道を開くと信じている。
  論文  参考訳（メタデータ） (2023-12-17T13:16:49Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Approaching human 3D shape perception with neurally mappable models [15.090436065092716]
  人間は力ずくで物体の3次元形状を推測する。 現在の計算モデルでは、視点を越えてオブジェクトの形状にマッチする人間の能力を捉えていない。 この研究は、ニューラルマップ可能な計算アーキテクチャ内の人間の形状推論を理解する基盤を提供する。
  論文  参考訳（メタデータ） (2023-08-22T09:29:05Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360$^{\circ}$ [17.355141949293852]
  3次元頭部合成のための既存の3次元生成対向ネットワーク(GAN)は、正面近傍のビューに限られるか、大きなビュー角で3次元の一貫性を維持するのが困難である。 パノヘッド(PanoHead)は、360ドル(約3万3000円)で高画質のフルヘッド画像合成を可能にする最初の3D認識生成モデルである。
  論文  参考訳（メタデータ） (2023-03-23T06:54:34Z)
• Reconstructing Personalized Semantic Facial NeRF Models From Monocular Video [27.36067360218281]
  本稿では,ニューラルラディアンスフィールドで定義された人間の頭部のセマンティックモデルを提案する。 3D一貫性ヘッドモデルは、不整合と解釈可能な基底の集合で構成され、低次元の表現係数で駆動することができる。 短い単眼のRGB動画を入力として,本手法では10分から20分で被験者の顔のNeRFモデルを構築することができる。
  論文  参考訳（メタデータ） (2022-10-12T11:56:52Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• ViewFormer: NeRF-free Neural Rendering from Few Images Using Transformers [34.4824364161812]
  新たなビュー合成は、シーンやオブジェクトをスパースにカバーする少数のコンテキストビューしか与えられない、という問題です。 ゴールはシーンにおける新しい視点を予測することであり、これは学習の事前を必要とする。 ニューラルネットワークの単一パスにおいて,複数のコンテキストビューとクエリのポーズを新しい画像にマッピングする2Dのみの手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T21:08:23Z)
• NeMo: Neural Mesh Models of Contrastive Features for Robust 3D Pose Estimation [11.271053492520535]
  3Dポーズ推定はコンピュータビジョンにおいて難しいが重要な課題である。 3次元ポーズ推定に対する標準的なディープラーニングアプローチは、オブジェクトが部分的に隠されたり、これまで見えなかったポーズから見える場合、堅牢ではないことを示す。 我々は,ディープニューラルネットワークとオブジェクトの3次元生成表現を,NeMoと呼ぶ統一ニューラルアーキテクチャに統合することを提案する。
  論文  参考訳（メタデータ） (2021-01-29T03:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。