論文の概要: Self-Calibrating, Fully Differentiable NLOS Inverse Rendering

• arxiv url: http://arxiv.org/abs/2309.12047v2
• Date: Tue, 26 Sep 2023 03:36:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 20:36:49.976471
• Title: Self-Calibrating, Fully Differentiable NLOS Inverse Rendering
• Title（参考訳）: 自己校正・完全微分可能なNLOS逆レンダリング
• Authors: Kiseok Choi, Inchul Kim, Dongyoung Choi, Julio Marco, Diego Gutierrez, Min H. Kim
• Abstract要約: NLOS(Time-resolved Non-line-of-Sight)イメージングは、可視光線面で測定された間接照明の光路を反転させることで、隠れたシーンを再構成する。 隠れたシーンの再構成において、画像パラメータを自己校正する完全微分可能なNLOS逆レンダリングパイプラインを導入する。 本手法のロバスト性は, 高い騒音レベル下であっても, 幾何とアルベドを一貫して再構成するものである。
• 参考スコア（独自算出の注目度）: 15.624750787186803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing time-resolved non-line-of-sight (NLOS) imaging methods reconstruct hidden scenes by inverting the optical paths of indirect illumination measured at visible relay surfaces. These methods are prone to reconstruction artifacts due to inversion ambiguities and capture noise, which are typically mitigated through the manual selection of filtering functions and parameters. We introduce a fully-differentiable end-to-end NLOS inverse rendering pipeline that self-calibrates the imaging parameters during the reconstruction of hidden scenes, using as input only the measured illumination while working both in the time and frequency domains. Our pipeline extracts a geometric representation of the hidden scene from NLOS volumetric intensities and estimates the time-resolved illumination at the relay wall produced by such geometric information using differentiable transient rendering. We then use gradient descent to optimize imaging parameters by minimizing the error between our simulated time-resolved illumination and the measured illumination. Our end-to-end differentiable pipeline couples diffraction-based volumetric NLOS reconstruction with path-space light transport and a simple ray marching technique to extract detailed, dense sets of surface points and normals of hidden scenes. We demonstrate the robustness of our method to consistently reconstruct geometry and albedo, even under significant noise levels.
• Abstract（参考訳）: 可視リレー面で測定した間接照明の光路を反転させることにより、既存の時間分解非視線イメージング(nlos)により隠れた風景を再現する。 これらの手法は, フィルタ関数やパラメータを手動で選択することで, ノイズを捕捉し, 逆の曖昧さによってアーチファクトを復元する傾向がある。 時間領域と周波数領域の両方で作業しながら、計測照明のみを入力として、隠れシーンの再構築時に画像パラメータを自己校正する完全微分可能なNLOS逆レンダリングパイプラインを導入する。 パイプラインは,NLOSボリューム強度から隠れたシーンの幾何学的表現を抽出し,その幾何学的情報を用いて生成したリレー壁の時間分解照明を推定する。 次に, 時間分解照明と測定照明の誤差を最小化し, 勾配降下を用いて撮像パラメータを最適化する。 エンド・ツー・エンドの差別化可能なパイプラインカップルは、経路空間光輸送と簡単な光線マーチング技術を用いて回折に基づくボリュームNLOS再構成を行い、詳細な表面点と隠蔽シーンの正規点を抽出する。 本手法のロバスト性は, 高い騒音レベルにおいても, 幾何およびアルベドを一貫して再構成できることを示す。

関連論文リスト

• Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors [52.195637608631955]
  非視線画像(NLOS)は、その潜在的な応用により注目されている。 既存のNLOS再構成アプローチは、経験的物理的前提に依存して制約される。 本稿では,Learningable Path Compensation(LPC)とAdaptive Phasor Field(APF)の2つの主要な設計を含む,学習に基づく新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-09-21T04:39:45Z)
• MIRReS: Multi-bounce Inverse Rendering using Reservoir Sampling [17.435649250309904]
  本稿では,新しい2段階逆レンダリングフレームワークであるMIRReSを紹介する。 提案手法は, ステージ1で明示的な幾何(三角形メッシュ)を抽出し, より現実的な物理ベースの逆レンダリングモデルを導入する。 本手法は,自己陰影や内部反射を含む間接照明を効果的に推定する。
  論文  参考訳（メタデータ） (2024-06-24T07:00:57Z)
• Neural Free-Viewpoint Relighting for Glossy Indirect Illumination [44.32630651762033]
  我々は、光沢反射を含む高周波間接照明に対するハイブリッドニューラルウェーブレットPRTソリューションを、視界の変化によるリライティングのために提示する。 我々は、ビュー依存のリフレクションや因果関係を含む難解なシーンのリアルタイムレンダリングを実演する。
  論文  参考訳（メタデータ） (2023-07-12T17:56:09Z)
• Inverse Global Illumination using a Neural Radiometric Prior [26.29610954064107]
  グローバル照明を考慮に入れた逆レンダリング手法が普及しつつある。 本稿では,従来の微分可能経路トレーサに完全経路積分を構築するための簡易な方法として,ラジオメトリック先行手法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T15:36:39Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting [60.75436852495868]
  本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。 我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
  論文  参考訳（メタデータ） (2021-04-01T17:59:02Z)
• Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications [78.63280020581662]
  スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。 最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
  論文  参考訳（メタデータ） (2021-03-24T08:16:32Z)
• Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo [61.6260594326246]
  空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
  論文  参考訳（メタデータ） (2021-03-22T18:06:58Z)
• NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis [45.71507069571216]
  本稿では,無拘束の照明により照らされたシーンの画像を入力として入力する手法を提案する。 これにより、任意の照明条件下で新しい視点からレンダリングできる3D表現を生成します。
  論文  参考訳（メタデータ） (2020-12-07T18:56:08Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。