論文の概要: Neural Projection Mapping Using Reflectance Fields

• arxiv url: http://arxiv.org/abs/2306.06595v1
• Date: Sun, 11 Jun 2023 05:33:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 17:56:04.032250
• Title: Neural Projection Mapping Using Reflectance Fields
• Title（参考訳）: 反射場を用いたニューラルプロジェクションマッピング
• Authors: Yotam Erel, Daisuke Iwai and Amit H. Bermano
• Abstract要約: 我々は、プロジェクターを神経反射場に導入し、プロジェクターを校正し、リアルな光編集を行う。 私たちのニューラルネットワークは3つのニューラルネットワークで構成されています。 ニューラルプロジェクションマッピングは、シーンとプロジェクションイメージの共同最適化を通じて、新規でエキサイティングな下流タスクへの扉を開くと信じている。
• 参考スコア（独自算出の注目度）: 11.74757574153076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a high resolution spatially adaptive light source, or a projector, into a neural reflectance field that allows to both calibrate the projector and photo realistic light editing. The projected texture is fully differentiable with respect to all scene parameters, and can be optimized to yield a desired appearance suitable for applications in augmented reality and projection mapping. Our neural field consists of three neural networks, estimating geometry, material, and transmittance. Using an analytical BRDF model and carefully selected projection patterns, our acquisition process is simple and intuitive, featuring a fixed uncalibrated projected and a handheld camera with a co-located light source. As we demonstrate, the virtual projector incorporated into the pipeline improves scene understanding and enables various projection mapping applications, alleviating the need for time consuming calibration steps performed in a traditional setting per view or projector location. In addition to enabling novel viewpoint synthesis, we demonstrate state-of-the-art performance projector compensation for novel viewpoints, improvement over the baselines in material and scene reconstruction, and three simply implemented scenarios where projection image optimization is performed, including the use of a 2D generative model to consistently dictate scene appearance from multiple viewpoints. We believe that neural projection mapping opens up the door to novel and exciting downstream tasks, through the joint optimization of the scene and projection images.
• Abstract（参考訳）: 本研究では,高分解能空間適応光源,あるいはプロジェクタを,プロジェクタとフォトリアル光編集の両方を校正可能な神経反射領域に導入する。 投影されたテクスチャは、すべてのシーンパラメータに対して完全に微分可能であり、拡張現実やプロジェクションマッピングの応用に適した外観に最適化することができる。 私たちのニューラルネットワークは3つのニューラルネットワークで構成されています。 解析的BRDFモデルと慎重に選択されたプロジェクションパターンを用いて、我々の取得プロセスは単純で直感的であり、固定された未校正プロジェクションと共位置光源付きハンドヘルドカメラを備えている。 我々が示すように、パイプラインに組み込まれた仮想プロジェクタはシーン理解を改善し、様々なプロジェクションマッピングアプリケーションを可能にする。 新規な視点合成を可能にすることに加え、新しい視点に対する最先端のパフォーマンスプロジェクタ補償、素材およびシーン再構成におけるベースラインの改善、および複数の視点からシーンの外観を連続的に予測する2次元生成モデルの使用を含む、投影画像の最適化を行うシナリオを3つ実装した。 ニューラルプロジェクションマッピングは、シーンとプロジェクションイメージの協調最適化を通じて、新しくエキサイティングな下流タスクへの扉を開くものだと考えています。

関連論文リスト

• Incorporating dense metric depth into neural 3D representations for view synthesis and relighting [25.028859317188395]
  ロボット応用では、密度の深い距離の深さをステレオで直接測定することができ、照明を制御できる。 本研究は,ニューラルネットワークによる3次元表現のトレーニングに高密度な距離深度を組み込む手法を実証する。 また、パイプラインに必要なデータを取得し、リライティングとビュー合成の結果を示すために開発されたマルチフラッシュステレオカメラシステムについても論じる。
  論文  参考訳（メタデータ） (2024-09-04T20:21:13Z)
• Bilateral Guided Radiance Field Processing [4.816861458037213]
  ニューラルラジアンス場(NeRF)は、新規なビュー合成の合成において、前例のない性能を達成する。 現代のカメラにおける画像信号処理(ISP)は、独立してそれらを強化し、再構成された放射場において「フローター」となる。 我々は、NeRFトレーニング段階におけるISPによる拡張を解消し、再構成されたラディアンスフィールドに対するユーザ希望の強化を再度適用することを提案する。 提案手法は,フロータを効果的に除去し,ユーザリタッチによる拡張を行うことにより,新規ビュー合成の視覚的品質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-06-01T14:10:45Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• NeLF-Pro: Neural Light Field Probes for Multi-Scale Novel View Synthesis [27.362216326282145]
  NeLF-Proは、様々な自然界の光場をモデル化し、再構成するための新しい表現である。 私たちの中心となる考え方は、シーンの光場を空間的に異なる学習可能な表現に焼くことです。
  論文  参考訳（メタデータ） (2023-12-20T17:18:44Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Shape and Reflectance Reconstruction in Uncontrolled Environments by Differentiable Rendering [27.41344744849205]
  従来のハンドヘルドカメラを用いた多視点写真からシーンの3次元形状と反射率を再構築する効率的な手法を提案する。 また,本手法は,新しい視点の視覚的合成と定量化において,最先端の代替手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T14:09:10Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。