論文の概要: Neural Image-based Avatars: Generalizable Radiance Fields for Human Avatar Modeling

• arxiv url: http://arxiv.org/abs/2304.04897v1
• Date: Mon, 10 Apr 2023 23:53:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 16:47:46.469426
• Title: Neural Image-based Avatars: Generalizable Radiance Fields for Human Avatar Modeling
• Title（参考訳）: ニューラルイメージに基づくアバター:ヒトアバターモデリングのための一般化された放射能場
• Authors: Youngjoong Kwon, Dahun Kim, Duygu Ceylan, Henry Fuchs
• Abstract要約: スパースな多視点画像から、任意の人間のパフォーマーの斬新なビューと新しいポーズを可能にする手法を提案する。 提案手法の重要な要素は,暗示体NeRF表現と画像ベースレンダリングの利点を組み合わせたハイブリッド外観ブレンディングモジュールである。
• 参考スコア（独自算出の注目度）: 28.242591786838936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method that enables synthesizing novel views and novel poses of arbitrary human performers from sparse multi-view images. A key ingredient of our method is a hybrid appearance blending module that combines the advantages of the implicit body NeRF representation and image-based rendering. Existing generalizable human NeRF methods that are conditioned on the body model have shown robustness against the geometric variation of arbitrary human performers. Yet they often exhibit blurry results when generalized onto unseen identities. Meanwhile, image-based rendering shows high-quality results when sufficient observations are available, whereas it suffers artifacts in sparse-view settings. We propose Neural Image-based Avatars (NIA) that exploits the best of those two methods: to maintain robustness under new articulations and self-occlusions while directly leveraging the available (sparse) source view colors to preserve appearance details of new subject identities. Our hybrid design outperforms recent methods on both in-domain identity generalization as well as challenging cross-dataset generalization settings. Also, in terms of the pose generalization, our method outperforms even the per-subject optimized animatable NeRF methods. The video results are available at https://youngjoongunc.github.io/nia
• Abstract（参考訳）: スパースなマルチビュー画像から、任意の人間のパフォーマーの新規ビューと新規ポーズを合成する手法を提案する。 提案手法の重要な要素は,暗示体NeRF表現と画像ベースレンダリングの利点を組み合わせたハイブリッド外観ブレンディングモジュールである。 身体モデル上で条件付けされている既存の一般化可能なヒトNeRF法は、任意のヒトパフォーマーの幾何学的変動に対して堅牢性を示す。 しかし、見当たらないアイデンティティーに一般化すると、しばしばぼやけた結果が現れる。 一方、画像ベースのレンダリングでは、十分な観察が得られれば、高品質な結果が得られる。 ニューラル・イメージ・ベースのアバター(nia)を提案する。ニューラル・イメージ・ベースのアバター(nia)は、新たな明瞭度と自己排他性の下で頑健性を維持しつつ、利用可能な(少ない)ソース・ビューの色を直接活用し、新たな被写体識別の外観詳細を保存する。 当社のハイブリッド設計は,ドメイン内idの一般化と,データセット間の一般化設定の課題の両方において,最近の手法を上回っている。 また,ポーズ汎化の観点からは,サブジェクト単位の最適化されたアニマタブルなnrf法よりも優れる。 ビデオはhttps://youngjoongunc.github.io/niaで入手できる。

関連論文リスト

• HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
  本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。 実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
  論文  参考訳（メタデータ） (2024-05-18T11:49:09Z)
• Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
  画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。 我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
  論文  参考訳（メタデータ） (2023-04-25T08:36:33Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human Avatars [7.777410338143783]
  本稿では,1枚のRGB画像からリアルなフルボディアバターを作成するためのアプローチを提案する。 本手法は, SMPL-Xボディーモデルと組み合わせた神経テクスチャを用いて, アバターのフォトリアリスティックな品質を実現する。 実験では、最新のレンダリング品質と、新しいポーズや視点への優れた一般化を実現する。
  論文  参考訳（メタデータ） (2023-03-16T15:04:10Z)
• ARAH: Animatable Volume Rendering of Articulated Human SDFs [37.48271522183636]
  本研究では, 分布外ポーズによく適応する詳細な形状の, アニマタブルな衣服付きアバターを作成するモデルを提案する。 提案アルゴリズムは,未知のポーズをよく一般化しながら,効率的な点サンプリングと正確な点正準化を実現する。 本手法は, アニマタブルアバターを作成しながら, 幾何と外観再構成の最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-10-18T17:56:59Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images [32.84481902544513]
  本論文は,複数視点画像のみを入力として,トレーニング中に見えない人のための新しいビューと新しいポーズのレンダリングを扱う。 鍵となる要素は、正準NeRFと体積変形スキームを組み合わせた専用表現である。 本手法の有効性を総合的に示すために,新しいビュー合成とアニメーションタスクを用いた実データと合成データの両方の実験を行った。
  論文  参考訳（メタデータ） (2022-03-31T08:09:03Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。