論文の概要: GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images

• arxiv url: http://arxiv.org/abs/2303.13777v1
• Date: Fri, 24 Mar 2023 03:32:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 15:54:21.491089
• Title: GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images
• Title（参考訳）: gm-nerf: 多視点画像から一般化したモデルベースニューラルラミアンスフィールドの学習
• Authors: Jianchuan Chen, Wentao Yi, Liqian Ma, Xu Jia, Huchuan Lu
• Abstract要約: 本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
• 参考スコア（独自算出の注目度）: 79.39247661907397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we focus on synthesizing high-fidelity novel view images for arbitrary human performers, given a set of sparse multi-view images. It is a challenging task due to the large variation among articulated body poses and heavy self-occlusions. To alleviate this, we introduce an effective generalizable framework Generalizable Model-based Neural Radiance Fields (GM-NeRF) to synthesize free-viewpoint images. Specifically, we propose a geometry-guided attention mechanism to register the appearance code from multi-view 2D images to a geometry proxy which can alleviate the misalignment between inaccurate geometry prior and pixel space. On top of that, we further conduct neural rendering and partial gradient backpropagation for efficient perceptual supervision and improvement of the perceptual quality of synthesis. To evaluate our method, we conduct experiments on synthesized datasets THuman2.0 and Multi-garment, and real-world datasets Genebody and ZJUMocap. The results demonstrate that our approach outperforms state-of-the-art methods in terms of novel view synthesis and geometric reconstruction.
• Abstract（参考訳）: 本研究では,スパースな多視点画像の集合を考えると,任意の人間パフォーマーのための高忠実なノベルビュー画像の合成に焦点をあてる。 明瞭な身体ポーズと重度の自己閉塞の多様さから、これは困難な課題である。 これを緩和するために,モデルベースニューラル・ラジアンス・フィールド(gm-nerf)を用いて,自由視点画像を合成する効果的な一般化フレームワークを提案する。 具体的には,多視点2次元画像からの出現コードを,不正確な図形先行と画素空間のずれを緩和する幾何プロキシに登録する幾何ガイド付注意機構を提案する。 さらに,より効率的な知覚の監督と合成の質の向上のために,神経レンダリングと部分勾配のバックプロパゲーションを実施している。 提案手法を評価するため, 合成データセット THuman2.0 と Multi-garment と実世界のデータセット Genebody と ZJUMocap について実験を行った。 提案手法は,新しいビュー合成と幾何再構成の観点から,最先端の手法よりも優れていることを示す。

関連論文リスト

• G-NeRF: Geometry-enhanced Novel View Synthesis from Single-View Images [45.66479596827045]
  我々は,幾何誘導多視点合成手法により,幾何先行性を高めるための幾何強調型NeRF(G-NeRF)を提案する。 単一視点画像に対する多視点監視の欠如に対処するために,深度認識型トレーニングアプローチを設計する。
  論文  参考訳（メタデータ） (2024-04-11T04:58:18Z)
• Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation [7.203073346844801]
  本稿では、一般化可能なニューラル放射場(NeRF)のための新しいパラダイムを提案する。 本稿では、画像ベースレンダリングではなく、点ベースに基づく一般化可能なニューラルネットワークを構築するための第1のパラダイムを提案する。 我々のアプローチは、幾何的先行性によって鮮度を明示的にモデル化し、それらをニューラル特徴で拡張する。
  論文  参考訳（メタデータ） (2024-01-25T17:58:51Z)
• TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
  TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。 我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。 このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
  論文  参考訳（メタデータ） (2023-12-08T16:40:38Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis [52.546998369121354]
  シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。 本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。 このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-10T07:39:47Z)
• DD-NeRF: Double-Diffusion Neural Radiance Field as a Generalizable Implicit Body Representation [17.29933848598768]
  本稿では,人体形状と外見を任意の入力ビューから表現するための新しい一般化可能な暗黙の場DD-NeRFを提案する。 様々なデータセットの実験により,提案手法は幾何再構成と新規なビュー合成品質の両方において,従来よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-23T07:30:22Z)
• GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
  ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。 我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。 実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-26T15:15:37Z)
• Hierarchy Composition GAN for High-fidelity Image Synthesis [57.32311953820988]
  本稿では,革新的階層構成GAN(HIC-GAN)を提案する。 HIC-GANは、幾何学と外観領域における画像合成をエンドツーエンドのトレーニング可能なネットワークに組み込んでいる。 シーンテキスト画像合成, 肖像画編集, 室内レンダリングタスクの実験により, 提案したHIC-GANは, 質的, 定量的に優れた合成性能が得られることを示した。
  論文  参考訳（メタデータ） (2019-05-12T11:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。