論文の概要: Artist-Friendly Relightable and Animatable Neural Heads

• arxiv url: http://arxiv.org/abs/2312.03420v1
• Date: Wed, 6 Dec 2023 11:06:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 15:08:10.527638
• Title: Artist-Friendly Relightable and Animatable Neural Heads
• Title（参考訳）: アーティストフレンドリーでアニマタブルなニューラルヘッド
• Authors: Yingyan Xu, Prashanth Chandran, Sebastian Weiss, Markus Gross, Gaspard Zoss, Derek Bradley
• Abstract要約: フォトリアリスティックなデジタルアバターを作成するための一般的なアプローチは、体積神経場を使用することである。 最近の変種は、ニューラル表現における焼き込み照明の通常の欠点を超越しており、静的なニューラルアバターはどんな環境にも依存できることを示している。 提案手法は,最近提案された軽量ハードウェアセットアップと組み合わせて,体積プリミティブの混合に基づく動的アバターアプローチを実証した。
• 参考スコア（独自算出の注目度）: 15.803111500220888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An increasingly common approach for creating photo-realistic digital avatars is through the use of volumetric neural fields. The original neural radiance field (NeRF) allowed for impressive novel view synthesis of static heads when trained on a set of multi-view images, and follow up methods showed that these neural representations can be extended to dynamic avatars. Recently, new variants also surpassed the usual drawback of baked-in illumination in neural representations, showing that static neural avatars can be relit in any environment. In this work we simultaneously tackle both the motion and illumination problem, proposing a new method for relightable and animatable neural heads. Our method builds on a proven dynamic avatar approach based on a mixture of volumetric primitives, combined with a recently-proposed lightweight hardware setup for relightable neural fields, and includes a novel architecture that allows relighting dynamic neural avatars performing unseen expressions in any environment, even with nearfield illumination and viewpoints.
• Abstract（参考訳）: フォトリアリスティックなデジタルアバターを作るための一般的なアプローチは、ボリュームニューラルフィールドを使用することである。 もともとのneural radiance field(nerf)は、複数のビューイメージのセットでトレーニングされた場合、静的ヘッドの印象的な新しいビュー合成を可能にし、フォローアップ手法により、これらのニューラルネットワーク表現を動的アバターに拡張できることを示した。 近年では、ニューラル表現における内蔵照明の通常の欠点を超え、静的なニューラルアバターがどんな環境でもリライトできることが示されている。 本研究では,動作と照明の両問題に同時に取り組み,再生可能でアニマタブルなニューラルヘッドの新しい手法を提案する。 本手法は、ボリュームプリミティブの混合に基づく証明された動的アバターアプローチを基盤とし、近距離の照明や視点でも、任意の環境において見当たらない表現を行う動的ニューラルネットワークアバターをリライトできる、新しいアーキテクチャを含んでいる。

関連論文リスト

• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis [7.485318043174123]
  リアルタイム神経頭アバターの新しい表現であるBakedAvatarを紹介した。 提案手法は,学習した頭部の異面から層状メッシュを抽出し,表現,ポーズ,ビューに依存した外観を計算する。 実験により,本表現は,他の最先端手法と同等品質の光実写結果を生成することを示した。
  論文  参考訳（メタデータ） (2023-11-09T17:05:53Z)
• Neural Radiance Fields (NeRFs): A Review and Some Recent Developments [0.0]
  Neural Radiance Field(NeRF)は、完全に接続されたニューラルネットワークの重みの3Dシーンを表すフレームワークである。 ベースフレームワークの性能と能力を拡張する最近の開発によって、NeRFはポピュラーな研究分野になってきた。
  論文  参考訳（メタデータ） (2023-04-30T03:23:58Z)
• MegaPortraits: One-shot Megapixel Neural Head Avatars [7.05068904295608]
  本研究では,中分解能映像データと高分解能画像データの両方を活用するニューラルアーキテクチャとトレーニング手法を提案する。 訓練された高分解能ニューラルアバターモデルを、リアルタイムに動作する軽量の学生モデルに蒸留する方法を示す。 リアルタイム操作とIDロックは多くの実用的アバターシステムに必須である。
  論文  参考訳（メタデータ） (2022-07-15T17:32:37Z)
• KiloNeuS: Implicit Neural Representations with Real-Time Global Illumination [1.5749416770494706]
  我々は、インタラクティブなフレームレートでパストレーシングシーンで描画できる新しいニューラルオブジェクト表現であるKiloNeuSを紹介する。 KiloNeuSは、共有シーンにおけるニューラルネットワークと古典的プリミティブ間の現実的な光相互作用のシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2022-06-22T07:33:26Z)
• Neural Rays for Occlusion-aware Image-based Rendering [108.34004858785896]
  我々は,ニューラルレイ(NeuRay)と呼ばれるニューラル表現を,マルチビューイメージを入力として,新しいビュー合成(NVS)タスクのために提案する。 NeuRayは、微調整の少ない未確認シーンの高品質なノベルビューレンダリング画像を生成することができる。
  論文  参考訳（メタデータ） (2021-07-28T15:09:40Z)
• Fast Training of Neural Lumigraph Representations using Meta Learning [109.92233234681319]
  我々は、リアルタイムにレンダリングできる高品質な表現を素早く学習することを目的として、新しいニューラルレンダリングアプローチを開発した。 われわれのアプローチであるMetaNLR++は、ニューラル形状表現と2次元CNNに基づく画像特徴抽出、集約、再投影のユニークな組み合わせを用いてこれを実現する。 そこで本研究では,MetaNLR++が類似あるいはより優れたフォトリアリスティックなノベルビュー合成を実現し,競合する手法が要求される時間のほんの少しの時間で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-28T18:55:50Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction [9.747648609960185]
  本研究では,人間の顔の外観と動態をモデル化するための動的神経放射場を提案する。 特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。
  論文  参考訳（メタデータ） (2020-12-05T16:01:16Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。