論文の概要: MonoHuman: Animatable Human Neural Field from Monocular Video
- arxiv url: http://arxiv.org/abs/2304.02001v1
- Date: Tue, 4 Apr 2023 17:55:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 12:43:49.342065
- Title: MonoHuman: Animatable Human Neural Field from Monocular Video
- Title（参考訳）: MonoHuman:モノクロビデオからのアニメーション可能な人間の神経場
- Authors: Zhengming Yu, Wei Cheng, Xian Liu, Wayne Wu, Kwan-Yee Lin
- Abstract要約: そこで我々は,任意のポーズの下で,ビュー一貫性と高忠実度アバターを強固に描画する新しいフレームワークMonoHumanを提案する。
我々のキーとなる洞察は、変形場を双方向の制約でモデル化し、オフザペグ情報を明示的に活用して、特徴を一貫性のある結果の推論を行うことである。
- 参考スコア（独自算出の注目度）: 30.113937856494726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Animating virtual avatars with free-view control is crucial for various
applications like virtual reality and digital entertainment. Previous studies
have attempted to utilize the representation power of the neural radiance field
(NeRF) to reconstruct the human body from monocular videos. Recent works
propose to graft a deformation network into the NeRF to further model the
dynamics of the human neural field for animating vivid human motions. However,
such pipelines either rely on pose-dependent representations or fall short of
motion coherency due to frame-independent optimization, making it difficult to
generalize to unseen pose sequences realistically. In this paper, we propose a
novel framework MonoHuman, which robustly renders view-consistent and
high-fidelity avatars under arbitrary novel poses. Our key insight is to model
the deformation field with bi-directional constraints and explicitly leverage
the off-the-peg keyframe information to reason the feature correlations for
coherent results. Specifically, we first propose a Shared Bidirectional
Deformation module, which creates a pose-independent generalizable deformation
field by disentangling backward and forward deformation correspondences into
shared skeletal motion weight and separate non-rigid motions. Then, we devise a
Forward Correspondence Search module, which queries the correspondence feature
of keyframes to guide the rendering network. The rendered results are thus
multi-view consistent with high fidelity, even under challenging novel pose
settings. Extensive experiments demonstrate the superiority of our proposed
MonoHuman over state-of-the-art methods.
- Abstract（参考訳）: バーチャルリアリティやデジタルエンターテイメントなど、さまざまなアプリケーションにおいて、自由視点制御による仮想アバターのアニメーションが不可欠である。
これまでの研究では、神経放射野(NeRF)の表現力を利用して、単眼ビデオから人体を再構築しようと試みてきた。
近年の研究では、変形ネットワークをNeRFに移植し、人間の運動をアニメーションするための人間の神経野のダイナミクスをさらにモデル化することを提案する。
しかし、このようなパイプラインはポーズに依存しない表現に依存するか、フレームに依存しない最適化のために動きの一貫性に欠ける。
本稿では,ビュー一貫性と高忠実度アバターを任意のポーズ下で頑健に描画する新しいフレームワークMonoHumanを提案する。
鍵となる洞察は、双方向の制約で変形場をモデル化し、オフザペグのキーフレーム情報を明示的に利用して、コヒーレントな結果に対する特徴相関を推論することである。
具体的には, 骨格運動重量の共有と非剛性運動の分離に後方および前方の変形対応を分離することにより, ポーズに依存しない一般化可能な変形場を生成する共用双方向変形モジュールを提案する。
次に、キーフレームの対応性をクエリしてレンダリングネットワークを誘導するフォワード対応検索モジュールを考案する。
したがって、レンダリングされた結果は、挑戦的な新しいポーズ設定の下でも、高い忠実度と複数ビューで一致している。
大規模実験により提案したMonoHumanの最先端手法に対する優位性を実証した。
関連論文リスト
- Motion-Oriented Compositional Neural Radiance Fields for Monocular Dynamic Human Modeling [10.914612535745789]
本稿では,MoCo-NeRF(MoCo-NeRF)について述べる。
MoCo-NeRFはモノクロビデオのフリービューポイントレンダリングを実現するために設計されたフレームワークである。
論文 参考訳（メタデータ） (2024-07-16T17:59:01Z) - HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。
本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。
実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
論文 参考訳（メタデータ） (2024-05-18T11:49:09Z) - Instant-NVR: Instant Neural Volumetric Rendering for Human-object
Interactions from Monocular RGBD Stream [14.844982083586306]
Instant-NVRは,1台のRGBDカメラを用いて,物体追跡とレンダリングを瞬時に行うニューラルネットワークである。
トラッキングフロントエンドでは、十分な動作先を提供するために、頑健な人間オブジェクトキャプチャー方式を採用する。
また,移動優先探索による動的・静電放射場をオンザフライで再構築する手法も提案する。
論文 参考訳（メタデータ） (2023-04-06T16:09:51Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳（メタデータ） (2023-03-24T03:32:02Z) - Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。
本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-20T09:28:16Z) - Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。
提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
論文 参考訳（メタデータ） (2022-04-04T03:09:20Z) - Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera [49.357174195542854]
外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。
本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
論文 参考訳（メタデータ） (2022-03-24T00:22:03Z) - Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。
我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。
実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
論文 参考訳（メタデータ） (2021-06-25T13:32:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。