論文の概要: PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for
Single-Image Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2202.04879v1
- Date: Thu, 10 Feb 2022 07:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-12 03:41:28.165425
- Title: PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for
Single-Image Novel View Synthesis
- Title(参考訳): PVSeRF:単一画像新規ビュー合成のための画素・ボクセル・表面配向放射場
- Authors: Xianggang Yu, Jiapeng Tang, Yipeng Qin, Chenghong Li, Linchao Bao,
Xiaoguang Han, Shuguang Cui
- Abstract要約: シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。
本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。
このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
- 参考スコア(独自算出の注目度): 52.546998369121354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present PVSeRF, a learning framework that reconstructs neural radiance
fields from single-view RGB images, for novel view synthesis. Previous
solutions, such as pixelNeRF, rely only on pixel-aligned features and suffer
from feature ambiguity issues. As a result, they struggle with the
disentanglement of geometry and appearance, leading to implausible geometries
and blurry results. To address this challenge, we propose to incorporate
explicit geometry reasoning and combine it with pixel-aligned features for
radiance field prediction. Specifically, in addition to pixel-aligned features,
we further constrain the radiance field learning to be conditioned on i)
voxel-aligned features learned from a coarse volumetric grid and ii) fine
surface-aligned features extracted from a regressed point cloud. We show that
the introduction of such geometry-aware features helps to achieve a better
disentanglement between appearance and geometry, i.e. recovering more accurate
geometries and synthesizing higher quality images of novel views. Extensive
experiments against state-of-the-art methods on ShapeNet benchmarks demonstrate
the superiority of our approach for single-image novel view synthesis.
- Abstract(参考訳): 本稿では,一視点RGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFについて述べる。
ピクセルNeRFのような以前のソリューションは、ピクセル整列機能のみに依存しており、機能の曖昧さに悩まされている。
結果として、彼らは幾何学と外見の絡み合いに苦慮し、不可解な測地線とぼやけた結果をもたらす。
この課題に対処するために, 明示的な幾何学的推論を取り入れ, 輝度場予測のための画素整合特徴を組み合わせることを提案する。
具体的には,画素整合機能に加えて,輝度場学習の条件付けをさらに制約する。
一 粗い容積格子から学んだボクセル配列の特徴及び
二 後退点雲から抽出した細かな表面配列の特徴
そこで,このような幾何学的特徴の導入は,外観と幾何学のより密接な関係,すなわちより正確なジオメトリの復元や,新しい視点の高画質画像の合成に寄与することを示す。
shapenetベンチマークにおける最先端手法に対する広範囲な実験は、単一画像の新規なビュー合成に対するアプローチの優位性を示している。
関連論文リスト
- NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。
NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。
我々は本手法を実データと合成データの両方で評価する。
論文 参考訳(メタデータ) (2023-11-20T06:15:46Z) - Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video [19.0733297053322]
本稿では,大域的幾何情報とボリュームレンダリング処理を,それぞれニューラルネットワークと動的放射場を用いて学習する点ベース動的放射場について紹介する。
具体的には、幾何学的プロキシから直接ニューラルポイント雲を再構成し、提案した損失を用いて放射場と幾何学的プロキシの両方を最適化する。
提案手法の有効性をNVIDIA Dynamic Scenesデータセットと因果的に捉えたモノクロビデオクリップを用いて検証した。
論文 参考訳(メタデータ) (2023-10-14T19:27:46Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳(メタデータ) (2023-03-24T03:32:02Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - GARF:Geometry-Aware Generalized Neural Radiance Field [47.76524984421343]
本稿では,GADS(Geometry-Aware Generalized Neural Radiance Field)戦略を用いたGARF(Geometry-Aware Generalized Neural Radiance Field)を提案する。
筆者らのフレームワークは,画素スケールと幾何学スケールの両方において,わずかに入力画像で見えないシーンを推測する。
屋内および屋外のデータセットの実験では、GARFはレンダリング品質と3次元幾何推定を改善しながら、サンプルを25%以上削減している。
論文 参考訳(メタデータ) (2022-12-05T14:00:59Z) - NeROIC: Neural Rendering of Objects from Online Image Collections [42.02832046768925]
本稿では,オンライン画像コレクションからオブジェクト表現を取得し,任意のオブジェクトの高品質な形状と材料特性をキャプチャする手法を提案する。
これにより、新規ビュー合成、リライト、調和した背景合成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になる。
論文 参考訳(メタデータ) (2022-01-07T16:45:15Z) - Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown
Generic Reflectance [86.05191217004415]
表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。
本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
論文 参考訳(メタデータ) (2021-05-25T01:28:54Z) - PhySG: Inverse Rendering with Spherical Gaussians for Physics-based
Material Editing and Relighting [60.75436852495868]
本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。
我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
論文 参考訳(メタデータ) (2021-04-01T17:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。