論文の概要: MERLiN: Single-Shot Material Estimation and Relighting for Photometric Stereo

• arxiv url: http://arxiv.org/abs/2409.00674v1
• Date: Sun, 1 Sep 2024 09:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 12:52:28.728408
• Title: MERLiN: Single-Shot Material Estimation and Relighting for Photometric Stereo
• Title（参考訳）: MERLiN:測光ステレオのための単ショット材料推定とリライティング
• Authors: Ashish Tiwari, Satoshi Ikehata, Shanmuganathan Raman,
• Abstract要約: 光度ステレオは通常、表面の正常を正確に回復するために複数の光源を含む複雑なデータ取得装置を必要とする。 MERLiNは、単一の画像ベースの逆レンダリングとリライトを単一の統合フレームワークに統合したアテンションベースの時間ガラスネットワークである。
• 参考スコア（独自算出の注目度）: 26.032964551717548
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Photometric stereo typically demands intricate data acquisition setups involving multiple light sources to recover surface normals accurately. In this paper, we propose MERLiN, an attention-based hourglass network that integrates single image-based inverse rendering and relighting within a single unified framework. We evaluate the performance of photometric stereo methods using these relit images and demonstrate how they can circumvent the underlying challenge of complex data acquisition. Our physically-based model is trained on a large synthetic dataset containing complex shapes with spatially varying BRDF and is designed to handle indirect illumination effects to improve material reconstruction and relighting. Through extensive qualitative and quantitative evaluation, we demonstrate that the proposed framework generalizes well to real-world images, achieving high-quality shape, material estimation, and relighting. We assess these synthetically relit images over photometric stereo benchmark methods for their physical correctness and resulting normal estimation accuracy, paving the way towards single-shot photometric stereo through physically-based relighting. This work allows us to address the single image-based inverse rendering problem holistically, applying well to both synthetic and real data and taking a step towards mitigating the challenge of data acquisition in photometric stereo.
• Abstract（参考訳）: 光度ステレオは通常、表面の正常を正確に回復するために複数の光源を含む複雑なデータ取得装置を必要とする。 本稿では、単一の画像ベースの逆レンダリングとリライティングを単一の統合フレームワークに統合したアテンションベースの時間ガラスネットワークであるMERLiNを提案する。 本稿では,これらの信頼度画像を用いて光度ステレオ法の性能評価を行い,それらが複雑なデータ取得の根底にある課題を回避できることを実証する。 我々の物理モデルでは、空間的に変化するBRDFを持つ複雑な形状を含む大規模な合成データセットをトレーニングし、間接照明効果を処理し、材料再構成とリライティングを改善するように設計されている。 定性的かつ定量的な評価を通じて,提案手法が実世界の画像によく応用され,高品質な形状,材料推定,リライティングを実現していることを示す。 本研究は,光度ステレオの物理的正しさと正常な推定精度のために,光度ステレオベンチマーク法を併用した合成画像の評価を行い,光度ステレオの物理的照らし方について検討した。 本研究では、合成データと実データの両方に適用し、フォトメトリックステレオにおけるデータ取得の課題を軽減するための一歩を踏み出す。

関連論文リスト

• Deep Learning Methods for Calibrated Photometric Stereo and Beyond [86.57469194387264]
  光度ステレオは、さまざまなシェーディングキューを持つ複数の画像から物体の表面の正常性を回復する。 深層学習法は、非ランベルト面に対する測光ステレオの文脈において強力な能力を示している。
  論文  参考訳（メタデータ） (2022-12-16T11:27:44Z)
• Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
  本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。 本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。 本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
  論文  参考訳（メタデータ） (2022-07-16T02:46:15Z)
• Universal Photometric Stereo Network using Global Lighting Contexts [4.822598110892846]
  本論文は、ユニバーサル測光ステレオと呼ばれる新しい測光ステレオタスクに取り組む。 様々な形状や素材の物体に対して、特定のモデルを仮定することなく、任意の照明のバリエーションで機能することが想定されている。
  論文  参考訳（メタデータ） (2022-06-06T09:32:06Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• LUCES: A Dataset for Near-Field Point Light Source Photometric Stereo [30.31403197697561]
  LUCESは, 様々な素材の14個のオブジェクトからなる, 近距離Ld点光のための最初の実世界のデータセットである。 52個のLEDを計る装置は、カメラから10から30cm離れた位置にある各物体に点灯するように設計されている。 提案するデータセットにおける最新の近接場測光ステレオアルゴリズムの性能評価を行った。
  論文  参考訳（メタデータ） (2021-04-27T12:30:42Z)
• Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo [61.6260594326246]
  空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
  論文  参考訳（メタデータ） (2021-03-22T18:06:58Z)
• Uncalibrated Neural Inverse Rendering for Photometric Stereo of General Surfaces [103.08512487830669]
  本稿では,測光ステレオ問題に対する無補間深層ニューラルネットワークフレームワークを提案する。 既存のニューラルネットワークベースの方法は、物体の正確な光方向または接地正則のいずれかまたは両方を必要とします。 本稿では,この問題に対する未調整の神経逆レンダリング手法を提案する。
  論文  参考訳（メタデータ） (2020-12-12T10:33:08Z)
• Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials [65.95928593628128]
  多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。 我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
  論文  参考訳（メタデータ） (2020-01-18T12:26:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。