論文の概要: NeLF-Pro: Neural Light Field Probes for Multi-Scale Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2312.13328v2
• Date: Mon, 22 Apr 2024 15:05:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 00:03:25.535648
• Title: NeLF-Pro: Neural Light Field Probes for Multi-Scale Novel View Synthesis
• Title（参考訳）: NeLF-Pro:マルチスケール新規ビュー合成のためのニューラル光電場プローブ
• Authors: Zinuo You, Andreas Geiger, Anpei Chen,
• Abstract要約: NeLF-Proは、様々な自然界の光場をモデル化し、再構成するための新しい表現である。 私たちの中心となる考え方は、シーンの光場を空間的に異なる学習可能な表現に焼くことです。
• 参考スコア（独自算出の注目度）: 27.362216326282145
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present NeLF-Pro, a novel representation to model and reconstruct light fields in diverse natural scenes that vary in extent and spatial granularity. In contrast to previous fast reconstruction methods that represent the 3D scene globally, we model the light field of a scene as a set of local light field feature probes, parameterized with position and multi-channel 2D feature maps. Our central idea is to bake the scene's light field into spatially varying learnable representations and to query point features by weighted blending of probes close to the camera - allowing for mipmap representation and rendering. We introduce a novel vector-matrix-matrix (VMM) factorization technique that effectively represents the light field feature probes as products of core factors (i.e., VM) shared among local feature probes, and a basis factor (i.e., M) - efficiently encoding internal relationships and patterns within the scene. Experimentally, we demonstrate that NeLF-Pro significantly boosts the performance of feature grid-based representations, and achieves fast reconstruction with better rendering quality while maintaining compact modeling. Project webpage https://sinoyou.github.io/nelf-pro/.
• Abstract（参考訳）: 自然界における光場をモデル化・再構成するための新しい表現であるNeLF-Proについて述べる。 グローバルな3Dシーンを表現した従来の高速な再構成手法とは対照的に、我々はシーンの光フィールドを局所的な光フィールド特徴プローブの集合としてモデル化し、位置とマルチチャネル2D特徴マップをパラメータ化した。 私たちの中心となる考え方は、シーンの光場を空間的に異なる学習可能な表現に焼き、カメラの近くにあるプローブの重み付けによってポイントの特徴を問合せ、ミップマップの表現とレンダリングを可能にします。 本稿では,光電場特徴プローブを局所特徴プローブ間で共有されるコアファクター(VM)の積として効果的に表現する新しいベクトル行列行列(VMM)因子化手法と,シーン内の内部関係やパターンを効率的に符号化するベースファクター(M)について紹介する。 実験により,NeLF-Proは特徴グリッドベース表現の性能を著しく向上させ,コンパクトなモデリングを維持しつつ,レンダリング品質を向上し,高速な再構成を実現することを示した。 プロジェクト Web ページ https://sinoyou.github.io/nelf-pro/

関連論文リスト

• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems [15.603880588503355]
  本稿では,3次元空間の暗黙的表現を用いた多フレーム構造光設定のための新しい深度推定手法を提案する。 我々のアプローチでは、自己教師付き微分可能レンダリングによって訓練された、ニューラルサイン付き距離場(SDF)を用いる。
  論文  参考訳（メタデータ） (2024-05-20T13:24:35Z)
• MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending [61.45757368117578]
  本稿では,多平面画像(MPI)に基づく神経放射場のフレキシブルな表現について述べる。 MPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く使われている。 MPIは複雑なシーンを多種多様なカメラ分布と視野方向で合成できることを示す。
  論文  参考訳（メタデータ） (2023-09-30T04:36:43Z)
• Neural Projection Mapping Using Reflectance Fields [11.74757574153076]
  我々は、プロジェクターを神経反射場に導入し、プロジェクターを校正し、リアルな光編集を行う。 私たちのニューラルネットワークは3つのニューラルネットワークで構成されています。 ニューラルプロジェクションマッピングは、シーンとプロジェクションイメージの共同最適化を通じて、新規でエキサイティングな下流タスクへの扉を開くと信じている。
  論文  参考訳（メタデータ） (2023-06-11T05:33:10Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Neural Point Light Fields [80.98651520818785]
  本稿では,スパース点雲上に存在する光の場を暗黙的に表現するニューラルポイント光場について紹介する。 これらの点光場は、光線方向と局所点特徴近傍の関数として機能し、光場条件付きトレーニング画像を高密度の被写体とパララックスを介さずに補間することができる。
  論文  参考訳（メタデータ） (2021-12-02T18:20:10Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)
• Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications [78.63280020581662]
  スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
  論文  参考訳（メタデータ） (2021-03-24T08:16:32Z)
• Crowdsampling the Plenoptic Function [56.10020793913216]
  このようなデータから時間変動照明下での新しいビュー合成手法を提案する。 本稿では,新しいDeepMPI表現について紹介する。 本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
  論文  参考訳（メタデータ） (2020-07-30T02:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。