論文の概要: Neural Projection Mapping Using Reflectance Fields
- arxiv url: http://arxiv.org/abs/2306.06595v1
- Date: Sun, 11 Jun 2023 05:33:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 17:56:04.032250
- Title: Neural Projection Mapping Using Reflectance Fields
- Title(参考訳): 反射場を用いたニューラルプロジェクションマッピング
- Authors: Yotam Erel, Daisuke Iwai and Amit H. Bermano
- Abstract要約: 我々は、プロジェクターを神経反射場に導入し、プロジェクターを校正し、リアルな光編集を行う。
私たちのニューラルネットワークは3つのニューラルネットワークで構成されています。
ニューラルプロジェクションマッピングは、シーンとプロジェクションイメージの共同最適化を通じて、新規でエキサイティングな下流タスクへの扉を開くと信じている。
- 参考スコア(独自算出の注目度): 11.74757574153076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a high resolution spatially adaptive light source, or a
projector, into a neural reflectance field that allows to both calibrate the
projector and photo realistic light editing. The projected texture is fully
differentiable with respect to all scene parameters, and can be optimized to
yield a desired appearance suitable for applications in augmented reality and
projection mapping. Our neural field consists of three neural networks,
estimating geometry, material, and transmittance. Using an analytical BRDF
model and carefully selected projection patterns, our acquisition process is
simple and intuitive, featuring a fixed uncalibrated projected and a handheld
camera with a co-located light source. As we demonstrate, the virtual projector
incorporated into the pipeline improves scene understanding and enables various
projection mapping applications, alleviating the need for time consuming
calibration steps performed in a traditional setting per view or projector
location. In addition to enabling novel viewpoint synthesis, we demonstrate
state-of-the-art performance projector compensation for novel viewpoints,
improvement over the baselines in material and scene reconstruction, and three
simply implemented scenarios where projection image optimization is performed,
including the use of a 2D generative model to consistently dictate scene
appearance from multiple viewpoints. We believe that neural projection mapping
opens up the door to novel and exciting downstream tasks, through the joint
optimization of the scene and projection images.
- Abstract(参考訳): 本研究では,高分解能空間適応光源,あるいはプロジェクタを,プロジェクタとフォトリアル光編集の両方を校正可能な神経反射領域に導入する。
投影されたテクスチャは、すべてのシーンパラメータに対して完全に微分可能であり、拡張現実やプロジェクションマッピングの応用に適した外観に最適化することができる。
私たちのニューラルネットワークは3つのニューラルネットワークで構成されています。
解析的BRDFモデルと慎重に選択されたプロジェクションパターンを用いて、我々の取得プロセスは単純で直感的であり、固定された未校正プロジェクションと共位置光源付きハンドヘルドカメラを備えている。
我々が示すように、パイプラインに組み込まれた仮想プロジェクタはシーン理解を改善し、様々なプロジェクションマッピングアプリケーションを可能にする。
新規な視点合成を可能にすることに加え、新しい視点に対する最先端のパフォーマンスプロジェクタ補償、素材およびシーン再構成におけるベースラインの改善、および複数の視点からシーンの外観を連続的に予測する2次元生成モデルの使用を含む、投影画像の最適化を行うシナリオを3つ実装した。
ニューラルプロジェクションマッピングは、シーンとプロジェクションイメージの協調最適化を通じて、新しくエキサイティングな下流タスクへの扉を開くものだと考えています。
関連論文リスト
- NeLF-Pro: Neural Light Field Probes [30.75238904977802]
NeLF-Proは、様々な自然界の光場をモデリングし、再構成するための新しい表現である。
世界の3Dシーンを高速に再現する手法とは対照的に,シーンの光場を局所的な光場特徴プローブの集合としてモデル化する。
論文 参考訳(メタデータ) (2023-12-20T17:18:44Z) - rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera [0.76146285961466]
本稿では,多面体画像(MPI)を用いたRPO(Rational Polynomial Camera)のための平面神経放射場rpcPRFを提案する。
本稿では,3次元座標と画像の間の正確な形状を学習するために,予測されたMPIを誘導するために再投影監視を利用する。
我々は、放射場の描画技術を導入することにより、深層多視点ステレオ法から密集深度監視の厳密な要求を取り除いた。
論文 参考訳(メタデータ) (2023-10-11T04:05:11Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Shape and Reflectance Reconstruction in Uncontrolled Environments by
Differentiable Rendering [27.41344744849205]
従来のハンドヘルドカメラを用いた多視点写真からシーンの3次元形状と反射率を再構築する効率的な手法を提案する。
また,本手法は,新しい視点の視覚的合成と定量化において,最先端の代替手法と比較して優れた性能を示す。
論文 参考訳(メタデータ) (2021-10-25T14:09:10Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳(メタデータ) (2020-08-09T22:04:36Z) - DeProCams: Simultaneous Relighting, Compensation and Shape
Reconstruction for Projector-Camera Systems [91.45207885902786]
本稿では,ProCamsの測光および幾何学的マッピングを学習するために,DeProCamsという新しいエンドツーエンドトレーニングモデルを提案する。
DeProCamsは、プロジェクターカメライメージマッピングを、シェーディング属性推定、粗い直接光推定、フォトリアリスティックなニューラルレンダリングの3つのサブプロセスに明示的に分解する。
私たちの実験では、DeProCamsは、期待できる品質と完全に差別化可能な従来の芸術よりも明確な優位性を示している。
論文 参考訳(メタデータ) (2020-03-06T05:49:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。