Fugu-MT 論文翻訳(概要): Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances

論文の概要: Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances

arxiv url: http://arxiv.org/abs/2311.03140v1
Date: Mon, 6 Nov 2023 14:34:36 GMT
ステータス: 処理完了
システム内更新日: 2023-11-07 14:13:43.968717
Title: Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances
Title（参考訳）: テクスチャ空間からNeRFをアニメーションする:人間のパフォーマンスのポーズ依存レンダリングのためのフレームワーク
Authors: Paul Knoll, Wieland Morgenstern, Anna Hilsmann and Peter Eisert
Abstract要約: 人間のパフォーマンスのポーズ依存レンダリングのための新しいNeRFベースのフレームワークを提案する。提案手法は,新規視点と新規目的合成のための高品質なレンダリングを実現する。
参考スコア（独自算出の注目度）: 11.604386285817302
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Creating high-quality controllable 3D human models from multi-view RGB videos poses a significant challenge. Neural radiance fields (NeRFs) have demonstrated remarkable quality in reconstructing and free-viewpoint rendering of static as well as dynamic scenes. The extension to a controllable synthesis of dynamic human performances poses an exciting research question. In this paper, we introduce a novel NeRF-based framework for pose-dependent rendering of human performances. In our approach, the radiance field is warped around an SMPL body mesh, thereby creating a new surface-aligned representation. Our representation can be animated through skeletal joint parameters that are provided to the NeRF in addition to the viewpoint for pose dependent appearances. To achieve this, our representation includes the corresponding 2D UV coordinates on the mesh texture map and the distance between the query point and the mesh. To enable efficient learning despite mapping ambiguities and random visual variations, we introduce a novel remapping process that refines the mapped coordinates. Experiments demonstrate that our approach results in high-quality renderings for novel-view and novel-pose synthesis.
Abstract（参考訳）: マルチビューのRGBビデオから高品質な3Dモデルを作るのは、大きな課題だ。ニューラルレイディアンス場(NeRF)は静的および動的シーンの再構成および自由視点レンダリングにおいて顕著な品質を示す。ダイナミックな人間のパフォーマンスの制御可能な合成への拡張は、エキサイティングな研究課題となっている。本稿では,人間のパフォーマンスのポーズ依存レンダリングのための新しいNeRFベースのフレームワークを提案する。提案手法では,放射場をSMPLボディーメッシュに巻き付けて,新しい表面配向表現を生成する。この表現は、ポーズ依存の外観の視点に加えて、nerfに提供される骨格関節パラメータを介してアニメーションすることができる。これを実現するために,メッシュテクスチャマップ上の対応する2次元uv座標と,クエリポイントとメッシュ間の距離を含む。曖昧さとランダムな視覚変化をマッピングしながら、効率的な学習を可能にするために、マップされた座標を洗練する新しい再マッピングプロセスを導入する。実験により,提案手法が新規および新規の合成のための高品質なレンダリングをもたらすことを実証した。

関連論文リスト

UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文参考訳（メタデータ） (2024-03-18T09:03:56Z)
PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文参考訳（メタデータ） (2023-12-17T08:30:00Z)
TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
論文参考訳（メタデータ） (2023-12-08T16:40:38Z)
HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
論文参考訳（メタデータ） (2023-12-05T22:04:49Z)
Template-free Articulated Neural Point Clouds for Reposable View Synthesis [11.535440791891217]
本研究では,マルチビュー映像から動的NeRFと関連する骨格モデルを共同で学習する新しい手法を提案する。我々のフォワードウォーピングアプローチは、新しいビューやポーズを合成する際に、最先端の視覚的忠実度を達成する。
論文参考訳（メタデータ） (2023-05-30T14:28:08Z)
Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文参考訳（メタデータ） (2023-04-20T17:59:52Z)
Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
論文参考訳（メタデータ） (2022-09-18T03:58:00Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
論文参考訳（メタデータ） (2021-12-20T18:59:40Z)
Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文参考訳（メタデータ） (2021-06-03T17:40:48Z)
STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering [9.600908665766465]
本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
論文参考訳（メタデータ） (2020-12-22T23:45:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。