論文の概要: Preface: A Data-driven Volumetric Prior for Few-shot Ultra High-resolution Face Synthesis

• arxiv url: http://arxiv.org/abs/2309.16859v1
• Date: Thu, 28 Sep 2023 21:21:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 16:18:00.690300
• Title: Preface: A Data-driven Volumetric Prior for Few-shot Ultra High-resolution Face Synthesis
• Title（参考訳）: 序文:超高解像度顔合成のためのデータ駆動ボリュームプリミティブ
• Authors: Marcel C. B\"uhler (1 and 2), Kripasindhu Sarkar (2), Tanmay Shah (2), Gengyan Li (1 and 2), Daoye Wang (2), Leonhard Helminger (2), Sergio Orts-Escolano (2), Dmitry Lagun (2), Otmar Hilliges (1), Thabo Beeler (2), Abhimitra Meka (2) ((1) ETH Zurich, (2) Google)
• Abstract要約: NeRFは、複雑な外観や毛髪と皮膚の反射効果を含む、人間の顔の非常に現実的な合成を可能にした。 本稿では,前者のトレーニング分布の一部ではない被験者の超高解像度な新しい視点の合成を可能にする,新しいヒューマン・フェイス・プレファレンスを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: NeRFs have enabled highly realistic synthesis of human faces including complex appearance and reflectance effects of hair and skin. These methods typically require a large number of multi-view input images, making the process hardware intensive and cumbersome, limiting applicability to unconstrained settings. We propose a novel volumetric human face prior that enables the synthesis of ultra high-resolution novel views of subjects that are not part of the prior's training distribution. This prior model consists of an identity-conditioned NeRF, trained on a dataset of low-resolution multi-view images of diverse humans with known camera calibration. A simple sparse landmark-based 3D alignment of the training dataset allows our model to learn a smooth latent space of geometry and appearance despite a limited number of training identities. A high-quality volumetric representation of a novel subject can be obtained by model fitting to 2 or 3 camera views of arbitrary resolution. Importantly, our method requires as few as two views of casually captured images as input at inference time.
• Abstract（参考訳）: NeRFは、複雑な外観や髪と皮膚の反射効果を含む人間の顔の非常に現実的な合成を可能にした。 これらの方法は通常、多数のマルチビュー入力画像を必要とするため、プロセスハードウェアが集中的かつ面倒になり、制約のない設定への適用性が制限される。 本稿では,前者のトレーニング分布の一部ではない被験者の超高解像度な新規視点の合成を可能にする,新しい人体顔モデルを提案する。 この先行モデルは、既知のカメラキャリブレーションを持つ多様な人間の低解像度マルチビュー画像のデータセットに基づいて訓練された、アイデンティティ条件付きNeRFで構成されている。 単純なスパースランドマークに基づくトレーニングデータセットの3Dアライメントにより、限られた数のトレーニングIDにもかかわらず、我々のモデルはスムーズな幾何学と外観の空間を学習することができる。 任意の解像度の2、3のカメラビューをモデルにすることで、新規な被写体の高品質なボリューム表現を得ることができる。 提案手法では, カジュアルな画像の2つのビューを推論時に入力として必要とする。

関連論文リスト

• Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
  人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。 我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。 次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
  論文  参考訳（メタデータ） (2024-10-01T12:24:50Z)
• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• Multi-Style Facial Sketch Synthesis through Masked Generative Modeling [17.313050611750413]
  本稿では,画像と対応するマルチスタイリズドスケッチを効率よく変換する軽量なエンドツーエンド合成モデルを提案する。 本研究では,半教師付き学習を学習プロセスに取り入れることで,データ不足の問題を克服する。 提案手法は,複数のベンチマークで従来アルゴリズムより常に優れていた。
  論文  参考訳（メタデータ） (2024-08-22T13:45:04Z)
• Efficient-3DiM: Learning a Generalizable Single-image Novel-view Synthesizer in One Day [63.96075838322437]
  シングルイメージのノベルビューシンセサイザーを学習するためのフレームワークを提案する。 当社のフレームワークは,トレーニング時間を10日以内から1日未満に短縮することが可能です。
  論文  参考訳（メタデータ） (2023-10-04T17:57:07Z)
• Deformable Model-Driven Neural Rendering for High-Fidelity 3D Reconstruction of Human Heads Under Low-View Settings [20.07788905506271]
  低視点で3Dの頭部を再構築することは技術的な課題を呈する。 幾何学的分解を提案し、2段階の粗大なトレーニング戦略を採用する。 提案手法は,低視野環境下での再現精度と新規ビュー合成の観点から,既存のニューラルレンダリング手法より優れる。
  論文  参考訳（メタデータ） (2023-03-24T08:32:00Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• LiP-Flow: Learning Inference-time Priors for Codec Avatars via Normalizing Flows in Latent Space [90.74976459491303]
  実行時入力に条件付けされた先行モデルを導入し、この先行空間を潜伏空間の正規化フローを介して3次元顔モデルに結びつける。 正規化フローは2つの表現空間をブリッジし、潜在サンプルをある領域から別の領域に変換することで、潜在可能性の目的を定義する。 提案手法は,表情のダイナミックスや微妙な表現をよりよく捉えることによって,表現的かつ効果的に先行することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:22:57Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• PVA: Pixel-aligned Volumetric Avatars [34.929560973779466]
  少数の入力から人間の頭部の体積アバターを予測するための新しいアプローチを考案する。 提案手法は,光度再レンダリングによる損失のみを前提としたエンドツーエンドで,明示的な3次元監視を必要とせずに訓練を行う。
  論文  参考訳（メタデータ） (2021-01-07T18:58:46Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。