論文の概要: UVA: Towards Unified Volumetric Avatar for View Synthesis, Pose
rendering, Geometry and Texture Editing
- arxiv url: http://arxiv.org/abs/2304.06969v1
- Date: Fri, 14 Apr 2023 07:39:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 14:23:54.428835
- Title: UVA: Towards Unified Volumetric Avatar for View Synthesis, Pose
rendering, Geometry and Texture Editing
- Title（参考訳）: UVA:ビュー合成, ポーズレンダリング, 幾何学, テクスチャ編集のための統一ボリュームアバターを目指して
- Authors: Jinlong Fan and Jing Zhang and Dacheng Tao
- Abstract要約: テクスチャとテクスチャの両方を局所的に編集できるtextbfUnified textbfVolumetric textbfAvatar (textbfUVA) という新しいアプローチを提案する。
UVAは、各観測点をスキン運動場を用いて標準空間に変換し、別々の神経場における幾何学とテクスチャを表現する。
複数の人体アバターの実験により、UVAが新しいビュー合成と新しいポーズレンダリングを実現していることが示された。
- 参考スコア（独自算出の注目度）: 83.0396740127043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural radiance field (NeRF) has become a popular 3D representation method
for human avatar reconstruction due to its high-quality rendering capabilities,
e.g., regarding novel views and poses. However, previous methods for editing
the geometry and appearance of the avatar only allow for global editing through
body shape parameters and 2D texture maps. In this paper, we propose a new
approach named \textbf{U}nified \textbf{V}olumetric \textbf{A}vatar
(\textbf{UVA}) that enables local and independent editing of both geometry and
texture, while retaining the ability to render novel views and poses. UVA
transforms each observation point to a canonical space using a skinning motion
field and represents geometry and texture in separate neural fields. Each field
is composed of a set of structured latent codes that are attached to anchor
nodes on a deformable mesh in canonical space and diffused into the entire
space via interpolation, allowing for local editing. To address spatial
ambiguity in code interpolation, we use a local signed height indicator. We
also replace the view-dependent radiance color with a pose-dependent shading
factor to better represent surface illumination in different poses. Experiments
on multiple human avatars demonstrate that our UVA achieves competitive results
in novel view synthesis and novel pose rendering while enabling local and
independent editing of geometry and appearance. The source code will be
released.
- Abstract（参考訳）: ニューラル・ラディアンス・フィールド(nerf)は、新しい視点やポーズなどの高いレンダリング能力により、ヒトアバターの再構成のための一般的な3d表現方法となっている。
しかし、それまでのアバターの形状や外観の編集方法は、ボディ形状パラメータと2次元テクスチャマップによるグローバルな編集しかできなかった。
本稿では,新しいビューやポーズを描画する能力を維持しつつ,テクスチャとテクスチャの両方を局所的かつ独立的に編集することのできる,‘textbf{U}nified \textbf{V}olumetric \textbf{A}vatar(\textbf{UVA})’という新しいアプローチを提案する。
UVAは、各観測点をスキン運動場を用いて標準空間に変換し、別々の神経場における幾何学とテクスチャを表現する。
各フィールドは、標準空間における変形可能なメッシュ上のアンカーノードにアタッチされ、補間によって空間全体に拡散し、局所的な編集を可能にする構造化された潜在コードからなる。
符号補間における空間的曖昧性に対処するために,局所符号付き高さ指標を用いる。
また、視点依存の輝度色をポーズ依存のシェーディングファクターに置き換え、異なるポーズで表面照明をより良く表現する。
複数の人体アバターを用いた実験により、我々のUVAは、幾何学と外観の局所的および独立的な編集を可能にしながら、新しいビュー合成と新しいポーズレンダリングにおいて競争的な結果が得られることを示した。
ソースコードはリリースされます。
関連論文リスト
- NECA: Neural Customizable Human Avatar [36.69012172745299]
モノクラービデオやスパースビュービデオから多目的な人間の表現を学習する手法であるNECAを紹介する。
我々のアプローチの中核は、補完的な双対空間で人間を表現し、幾何学、アルベド、シャドー、および外部照明の非絡み合った神経場を予測することである。
論文 参考訳（メタデータ） (2024-03-15T14:23:06Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳（メタデータ） (2023-12-11T18:59:31Z) - Animating NeRFs from Texture Space: A Framework for Pose-Dependent
Rendering of Human Performances [11.604386285817302]
人間のパフォーマンスのポーズ依存レンダリングのための新しいNeRFベースのフレームワークを提案する。
提案手法は,新規視点と新規目的合成のための高品質なレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-06T14:34:36Z) - Learning Locally Editable Virtual Humans [37.95173373011365]
完全編集可能なニューラルアバターをモデル化するための新しいハイブリッド表現とエンドツーエンドのトレーニング可能なネットワークアーキテクチャを提案する。
私たちの研究の中心には、ニューラルネットワークのモデリング能力と使いやすさ、スキン付きメッシュの固有の3D一貫性を組み合わせた表現があります。
提案手法は多種多様な細かなアバターを生成し,最先端の手法に比べて優れたモデル適合性を実現する。
論文 参考訳（メタデータ） (2023-04-28T23:06:17Z) - AniPixel: Towards Animatable Pixel-Aligned Human Avatar [65.7175527782209]
AniPixelは、アニマタブルで一般化可能なヒトアバター再構成法である。
本研究では, 骨格変形に基づく神経スキンフィールドを提案し, 標的-カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カ
実験では、AniPixelは最先端の手法よりも優れた新しいポーズのアニメーション結果を提供しながら、同等の斬新なビューをレンダリングしている。
論文 参考訳（メタデータ） (2023-02-07T11:04:14Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳（メタデータ） (2022-12-21T00:20:01Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - Neural Parameterization for Dynamic Human Head Editing [26.071370285285465]
暗黙的手法と明示的手法の両方の利点を提供するハイブリッド表現であるニューラル化(NeP)を提案する。
NePは、シーンの幾何学と外観のきめ細かい編集を可能にしながら、写真リアリスティックなレンダリングを可能にする。
その結果,NePは高い編集性を維持しつつ,ほぼ同じレベルのレンダリング精度を実現していることがわかった。
論文 参考訳（メタデータ） (2022-07-01T05:25:52Z) - Animatable Implicit Neural Representations for Creating Realistic
Avatars from Videos [63.16888987770885]
本稿では,マルチビュー映像からアニマタブルな人間モデルを構築することの課題について述べる。
線形ブレンドスキンアルゴリズムに基づくポーズ駆動変形場を提案する。
提案手法は,近年の人体モデリング手法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2022-03-15T17:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。