論文の概要: Implicit Shape and Appearance Priors for Few-Shot Full Head Reconstruction

• arxiv url: http://arxiv.org/abs/2310.08784v1
• Date: Thu, 12 Oct 2023 07:35:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 15:03:57.810816
• Title: Implicit Shape and Appearance Priors for Few-Shot Full Head Reconstruction
• Title（参考訳）: Few-Shot完全頭部再建術におけるインシシト形状と外観
• Authors: Pol Caselles, Eduard Ramon, Jaime Garcia, Gil Triginer, Francesc Moreno-Noguer
• Abstract要約: 本稿では,数発のフル3次元頭部再構成の問題点に対処する。 我々は、座標に基づく表現に先立って確率的形状と外観を組み込むことにより、これを達成した。 我々はH3DSデータセットを拡張し、60個の高解像度3Dフルヘッドスキャンと対応する画像とマスクを含む。
• 参考スコア（独自算出の注目度）: 17.254539604491303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in learning techniques that employ coordinate-based neural representations have yielded remarkable results in multi-view 3D reconstruction tasks. However, these approaches often require a substantial number of input views (typically several tens) and computationally intensive optimization procedures to achieve their effectiveness. In this paper, we address these limitations specifically for the problem of few-shot full 3D head reconstruction. We accomplish this by incorporating a probabilistic shape and appearance prior into coordinate-based representations, enabling faster convergence and improved generalization when working with only a few input images (even as low as a single image). During testing, we leverage this prior to guide the fitting process of a signed distance function using a differentiable renderer. By incorporating the statistical prior alongside parallelizable ray tracing and dynamic caching strategies, we achieve an efficient and accurate approach to few-shot full 3D head reconstruction. Moreover, we extend the H3DS dataset, which now comprises 60 high-resolution 3D full head scans and their corresponding posed images and masks, which we use for evaluation purposes. By leveraging this dataset, we demonstrate the remarkable capabilities of our approach in achieving state-of-the-art results in geometry reconstruction while being an order of magnitude faster than previous approaches.
• Abstract（参考訳）: 座標に基づくニューラル表現を用いた学習技術の最近の進歩は、多視点3D再構成タスクにおいて顕著な結果をもたらした。 しかし、これらのアプローチは、その有効性を達成するためにかなりの数の入力ビュー(典型的には10回)と計算集約的な最適化手順を必要とする。 本稿では,これらの制約を,数発のフル3次元頭部再構成の問題に対処する。 これを実現するために,座標に基づく表現に先立って確率的形状と外観を組み込むことにより,少数の入力画像のみを扱う場合の収束の高速化と一般化の向上を実現した。 テスト中、我々はこれを利用して、微分可能なレンダラーを用いて符号付き距離関数の嵌合過程を導出する。 並列化可能なレイトレーシングとダイナミックキャッシングの戦略を併用することにより,数発のフル3次元頭部再構成に対する効率的かつ正確なアプローチを実現する。 さらに,60個の高分解能3次元頭部スキャンと対応する画像とマスクからなるH3DSデータセットを拡張し,評価目的で使用する。 このデータセットを利用することで、従来のアプローチよりも桁違いに高速な幾何再構成における最先端の成果を達成するための、我々のアプローチの顕著な能力を示す。

関連論文リスト

• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
  Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。 画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T15:02:23Z)
• InstantAvatar: Efficient 3D Head Reconstruction via Surface Rendering [13.85652935706768]
  InstantAvatarは,コモディティハードウェア上で数秒で数枚の画像からフルヘッドアバターを復元する手法である。 ボクセルグリッドに基づくアーキテクチャを用いて,3次元頭部署名距離関数の事前分布を学習する新しい統計モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-09T11:02:00Z)
• End-to-End Multi-View Structure-from-Motion with Hypercorrelation Volumes [7.99536002595393]
  この問題に対処するために深層学習技術が提案されている。 我々は現在最先端の2次元構造であるSfM(SfM)のアプローチを改善している。 一般的なマルチビューのケースに拡張し、複雑なベンチマークデータセットDTUで評価する。
  論文  参考訳（メタデータ） (2022-09-14T20:58:44Z)
• Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
  画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。 われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
  論文  参考訳（メタデータ） (2022-05-12T17:55:51Z)
• H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction [27.66008315400462]
  表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。 我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。 暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
  論文  参考訳（メタデータ） (2021-07-26T23:04:18Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)
• Next-best-view Regression using a 3D Convolutional Neural Network [0.9449650062296823]
  本論文では,次のベストビュー問題に対するデータ駆動アプローチを提案する。 提案手法は、次のベストビューのbtxtpositionを抑えるために、以前の再構成で3D畳み込みニューラルネットワークを訓練する。 提案手法を2つの実験グループを用いて検証した。
  論文  参考訳（メタデータ） (2021-01-23T01:50:26Z)
• Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
  多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。 各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
  論文  参考訳（メタデータ） (2021-01-06T13:15:21Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)
• Towards Reading Beyond Faces for Sparsity-Aware 4D Affect Recognition [55.15661254072032]
  自動4次元表情認識(FER)のための空間認識深層ネットワークを提案する。 まず,深層学習のためのデータ制限問題に対処する新しい拡張手法を提案する。 次に、多視点での畳み込み特徴のスパース表現を計算するために、疎度対応のディープネットワークを提案する。
  論文  参考訳（メタデータ） (2020-02-08T13:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。