論文の概要: NeLF-Pro: Neural Light Field Probes
- arxiv url: http://arxiv.org/abs/2312.13328v1
- Date: Wed, 20 Dec 2023 17:18:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 17:01:29.318524
- Title: NeLF-Pro: Neural Light Field Probes
- Title(参考訳): NeLF-Pro: ニューラルネットワークプローブ
- Authors: Zinuo You, Andreas Geiger, Anpei Chen
- Abstract要約: NeLF-Proは、様々な自然界の光場をモデリングし、再構成するための新しい表現である。
世界の3Dシーンを高速に再現する手法とは対照的に,シーンの光場を局所的な光場特徴プローブの集合としてモデル化する。
- 参考スコア(独自算出の注目度): 30.75238904977802
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present NeLF-Pro, a novel representation for modeling and reconstructing
light fields in diverse natural scenes that vary in extend and spatial
granularity. In contrast to previous fast reconstruction methods that represent
the 3D scene globally, we model the light field of a scene as a set of local
light field feature probes, parameterized with position and multi-channel 2D
feature maps. Our central idea is to bake the scene's light field into
spatially varying learnable representations and to query point features by
weighted blending of probes close to the camera - allowing for mipmap
representation and rendering. We introduce a novel vector-matrix-matrix (VMM)
factorization technique that effectively represents the light field feature
probes as products of core factors (i.e., VM) shared among local feature
probes, and a basis factor (i.e., M) - efficiently encoding internal
relationships and patterns within the scene.Experimentally, we demonstrate that
NeLF-Pro significantly boosts the performance of feature grid-based
representations, and achieves fast reconstruction with better rendering quality
while maintaining compact modeling.
- Abstract(参考訳): 本稿では,様々な自然場面における光場のモデリングと再構成のための新しい表現であるnelf-proを提案する。
3dシーンをグローバルに表現する従来の高速再構成手法とは対照的に,各シーンの光野を,位置と多チャンネル2d特徴マップでパラメータ化された局所光場特徴プローブの集合としてモデル化する。
中心となるアイデアは、シーンの光場を空間的に変化する学習可能な表現に焼き込み、カメラの近くにあるプローブを重み付けてブレンドすることでポイントの特徴を問い合わせることです。
We introduce a novel vector-matrix-matrix (VMM) factorization technique that effectively represents the light field feature probes as products of core factors (i.e., VM) shared among local feature probes, and a basis factor (i.e., M) - efficiently encoding internal relationships and patterns within the scene.Experimentally, we demonstrate that NeLF-Pro significantly boosts the performance of feature grid-based representations, and achieves fast reconstruction with better rendering quality while maintaining compact modeling.
関連論文リスト
- NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。
NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。
我々は本手法を実データと合成データの両方で評価する。
論文 参考訳(メタデータ) (2023-11-20T06:15:46Z) - Light Field Diffusion for Single-View Novel View Synthesis [32.59286750410843]
NVS(Single-view novel view synthesis)は、コンピュータビジョンにおいて重要であるが困難である。
NVSの最近の進歩は、高忠実度画像を生成するのに優れた能力として、Denoising Diffusion Probabilistic Models (DDPMs)を活用している。
光電界拡散(LFD)は,従来のカメラポーズ行列への依存を超越した,条件拡散に基づく新しいアプローチである。
論文 参考訳(メタデータ) (2023-09-20T03:27:06Z) - Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。
我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
論文 参考訳(メタデータ) (2023-09-19T05:44:00Z) - Neural Projection Mapping Using Reflectance Fields [11.74757574153076]
我々は、プロジェクターを神経反射場に導入し、プロジェクターを校正し、リアルな光編集を行う。
私たちのニューラルネットワークは3つのニューラルネットワークで構成されています。
ニューラルプロジェクションマッピングは、シーンとプロジェクションイメージの共同最適化を通じて、新規でエキサイティングな下流タスクへの扉を開くと信じている。
論文 参考訳(メタデータ) (2023-06-11T05:33:10Z) - Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。
本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。
合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-03T06:32:55Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳(メタデータ) (2021-10-11T20:20:03Z) - Light Field Reconstruction Using Convolutional Network on EPI and
Extended Applications [78.63280020581662]
スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。
最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
論文 参考訳(メタデータ) (2021-03-24T08:16:32Z) - Crowdsampling the Plenoptic Function [56.10020793913216]
このようなデータから時間変動照明下での新しいビュー合成手法を提案する。
本稿では,新しいDeepMPI表現について紹介する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
論文 参考訳(メタデータ) (2020-07-30T02:52:10Z) - Learning Light Field Angular Super-Resolution via a Geometry-Aware
Network [101.59693839475783]
そこで本研究では,広いベースラインを持つスパースサンプリング光場を超解き放つことを目的とした,エンド・ツー・エンドの学習ベースアプローチを提案する。
提案手法は,実行時間48$times$を節約しつつ,2番目のベストメソッドのPSNRを平均2dBまで改善する。
論文 参考訳(メタデータ) (2020-02-26T02:36:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。