Fugu-MT 論文翻訳(概要): H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction

論文の概要: H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction

arxiv url: http://arxiv.org/abs/2107.12512v1
Date: Mon, 26 Jul 2021 23:04:18 GMT
ステータス: 処理完了
システム内更新日: 2021-07-28 14:56:35.900183
Title: H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction
Title（参考訳）: H3D-Net:Few-Shot High-Fidelity 3D Head Restruction
Authors: Eduard Ramon, Gil Triginer, Janna Escur, Albert Pumarola, Jaime Garcia, Xavier Giro-i-Nieto, Francesc Moreno-Noguer
Abstract要約: 表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
参考スコア（独自算出の注目度）: 27.66008315400462
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent learning approaches that implicitly represent surface geometry using coordinate-based neural representations have shown impressive results in the problem of multi-view 3D reconstruction. The effectiveness of these techniques is, however, subject to the availability of a large number (several tens) of input views of the scene, and computationally demanding optimizations. In this paper, we tackle these limitations for the specific problem of few-shot full 3D head reconstruction, by endowing coordinate-based representations with a probabilistic shape prior that enables faster convergence and better generalization when using few input images (down to three). First, we learn a shape model of 3D heads from thousands of incomplete raw scans using implicit representations. At test time, we jointly overfit two coordinate-based neural networks to the scene, one modeling the geometry and another estimating the surface radiance, using implicit differentiable rendering. We devise a two-stage optimization strategy in which the learned prior is used to initialize and constrain the geometry during an initial optimization phase. Then, the prior is unfrozen and fine-tuned to the scene. By doing this, we achieve high-fidelity head reconstructions, including hair and shoulders, and with a high level of detail that consistently outperforms both state-of-the-art 3D Morphable Models methods in the few-shot scenario, and non-parametric methods when large sets of views are available.
Abstract（参考訳）: 座標に基づくニューラル表現を用いた表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。しかしながら、これらの手法の有効性は、シーンの多数の入力ビュー(複数回)が利用可能となり、計算的に最適化が要求される。本稿では,少ない入力画像(最大3倍)を使用する場合に,より高速な収束と一般化を可能にする確率的形状の座標ベース表現を提供することにより,これらの制約に対処する。まず、暗黙の表現を用いて、何千もの不完全な生スキャンから3Dヘッドの形状モデルを学ぶ。テスト時には,2つの座標系ニューラルネットワークを併用し,その1つは幾何学をモデル化し,もう1つは表面放射率を暗黙の微分レンダリングを用いて推定する。初期最適化段階で幾何学を初期化・制約するために学習前段階を用いる2段階最適化戦略を考案する。その後、前者は冷蔵されず、シーンに合わせて微調整される。これにより、毛髪や肩を含む高忠実度頭部再構成を実現し、高精細度で、最新の3Dモーフブルモデル法と、大規模なビューが利用できる場合の非パラメトリック手法の両方を一貫して上回ります。

関連論文リスト

Implicit Shape and Appearance Priors for Few-Shot Full Head Reconstruction [17.254539604491303]
本稿では,数発のフル3次元頭部再構成の問題点に対処する。我々は、座標に基づく表現に先立って確率的形状と外観を組み込むことにより、これを達成した。我々はH3DSデータセットを拡張し、60個の高解像度3Dフルヘッドスキャンと対応する画像とマスクを含む。
論文参考訳（メタデータ） (2023-10-12T07:35:30Z)
FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文参考訳（メタデータ） (2023-08-10T17:55:02Z)
3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
1枚の画像から被写体の3次元表面を再構築することは難しい問題である。本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
論文参考訳（メタデータ） (2023-02-24T20:37:27Z)
Coordinates Are NOT Lonely -- Codebook Prior Helps Implicit Neural 3D Representations [29.756718435405983]
暗黙的な3D表現は、表面やシーンの再構築や新しいビュー合成において、印象的な成果を上げている。ニューラル・レージアンス・フィールド(Neural Radiance Field、NeRF)とその変種のような既存のアプローチは、通常、密度の高い入力ビューを必要とする。暗黙的な3次元表現のための座標モデルCoCo-INRを提案する。
論文参考訳（メタデータ） (2022-10-20T11:13:50Z)
Deep Learning Assisted Optimization for 3D Reconstruction from Single 2D Line Drawings [13.532686360047574]
本稿では,3次元物体の幾何学的実体間の対関係を検出するために,ディープニューラルネットワークを訓練することを提案する。 CADモデルの大規模なデータセット実験により、幾何学的制約解決パイプラインにおけるディープラーニングを活用することにより、最適化に基づく3D再構成の成功率を大幅に改善できることが示されている。
論文参考訳（メタデータ） (2022-09-06T17:59:11Z)
Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文参考訳（メタデータ） (2022-04-21T03:42:31Z)
Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文参考訳（メタデータ） (2021-12-05T07:02:53Z)
Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
論文参考訳（メタデータ） (2021-01-26T18:50:22Z)
Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
論文参考訳（メタデータ） (2020-11-03T02:57:01Z)
Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文参考訳（メタデータ） (2020-08-18T06:33:40Z)
Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
論文参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。