論文の概要: Real-Time Neural Character Rendering with Pose-Guided Multiplane Images

• arxiv url: http://arxiv.org/abs/2204.11820v1
• Date: Mon, 25 Apr 2022 17:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 14:59:56.419922
• Title: Real-Time Neural Character Rendering with Pose-Guided Multiplane Images
• Title（参考訳）: Pose-Guided Multiplane Image を用いたリアルタイムニューラルキャラクタレンダリング
• Authors: Hao Ouyang, Bo Zhang, Pan Zhang, Hao Yang, Jiaolong Yang, Dong Chen, Qifeng Chen, Fang Wen
• Abstract要約: リアルなシーンでアニマタブルなキャラクタをフォトリアリスティックな画質でレンダリングできるポーズ誘導多面体画像(MPI)合成を提案する。 我々は、移動物体の駆動信号とともに多視点画像をキャプチャするために、ポータブルカメラリグを使用します。
• 参考スコア（独自算出の注目度）: 75.62730144924566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose pose-guided multiplane image (MPI) synthesis which can render an animatable character in real scenes with photorealistic quality. We use a portable camera rig to capture the multi-view images along with the driving signal for the moving subject. Our method generalizes the image-to-image translation paradigm, which translates the human pose to a 3D scene representation -- MPIs that can be rendered in free viewpoints, using the multi-views captures as supervision. To fully cultivate the potential of MPI, we propose depth-adaptive MPI which can be learned using variable exposure images while being robust to inaccurate camera registration. Our method demonstrates advantageous novel-view synthesis quality over the state-of-the-art approaches for characters with challenging motions. Moreover, the proposed method is generalizable to novel combinations of training poses and can be explicitly controlled. Our method achieves such expressive and animatable character rendering all in real time, serving as a promising solution for practical applications.
• Abstract（参考訳）: リアルなシーンでアニマタブルなキャラクタをフォトリアリスティックな画質でレンダリングできるポーズ誘導多面体画像(MPI)合成を提案する。 我々は、移動物体の駆動信号とともに多視点画像をキャプチャするためにポータブルカメラリグを使用する。 本研究では,画像から画像への変換パラダイムを一般化し,人間のポーズを3次元シーン表現 -- 自由視点でレンダリング可能なmpis -- に翻訳し,マルチビューキャプチャを監督として利用する。 MPIの潜在能力を十分に養うために,不正確なカメラ登録を堅牢にしながら,可変露光画像を用いて学習可能な深度適応型MPIを提案する。 本手法は,課題のある文字に対して最先端の手法よりも優れた新視点合成品質を示す。 さらに,提案手法はトレーニングポーズの新しい組み合わせに一般化でき,明示的に制御できる。 本手法は,リアルタイムに表現可能かつアニメーション可能なキャラクタレンダリングを実現し,実用的応用に有望な解決策となる。

関連論文リスト

• Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
  制御可能な単分子動的ビュー合成パイプラインを提案する。 我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。 私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
  論文  参考訳（メタデータ） (2024-05-23T17:59:52Z)
• MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending [61.45757368117578]
  本稿では,多平面画像(MPI)に基づく神経放射場のフレキシブルな表現について述べる。 MPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く使われている。 MPIは複雑なシーンを多種多様なカメラ分布と視野方向で合成できることを示す。
  論文  参考訳（メタデータ） (2023-09-30T04:36:43Z)
• FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow [26.528667940013598]
  ポーズ画像からの3次元ニューラルネットワークの再構成は、自己教師付き表現学習の有望な方法として現れている。 これらの3Dシーンの学習者が大規模ビデオデータに展開するのを防ぐ重要な課題は、構造から移動までの正確なカメラポーズに依存することである。 本稿では,オンラインと1つのフォワードパスでカメラポーズと3Dニューラルシーン表現を共同で再構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T20:58:46Z)
• RUST: Latent Neural Scene Representations from Unposed Imagery [21.433079925439234]
  2次元観察から3次元シーンの構造を推定することは、コンピュータビジョンにおける根本的な課題である。 ニューラルシーン表現に基づく最近の普及したアプローチは、非常に大きな影響を与えている。 RUST(Really Unposed Scene representation Transformer)は、RGB画像だけで訓練された新しいビューに対するポーズレスアプローチである。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold [5.462226912969161]
  現在のGAN(Generative Adversarial Networks)は、ポートレート画像のフォトリアリスティックレンダリングを生成する。 当社のアプローチは,トレーニング済みのStyleGANを標準の3Dレンダリングパイプラインに統合する上で,どのような効果があるかを示す。 本手法は,インタラクティブなレートでリアルな顔の真の自由視点レンダリングを提案する。
  論文  参考訳（メタデータ） (2021-09-20T08:59:21Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
  本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。 私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
  論文  参考訳（メタデータ） (2020-12-17T17:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。