論文の概要: LIPIDS: Learning-based Illumination Planning In Discretized (Light) Space for Photometric Stereo
- arxiv url: http://arxiv.org/abs/2409.02716v1
- Date: Sun, 1 Sep 2024 09:54:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 17:55:43.401960
- Title: LIPIDS: Learning-based Illumination Planning In Discretized (Light) Space for Photometric Stereo
- Title（参考訳）: LIPIDS:光度ステレオのための離散(光)空間における学習型照明計画
- Authors: Ashish Tiwari, Mihir Sutariya, Shanmuganathan Raman,
- Abstract要約: 光度ステレオは、被写体の異なる照明画像から画素当たりの表面正規値を得るための強力な方法である。
照明の方向が多すぎるため、最適な設定を見つけることは困難である。
LIPIDS(Learning-based Illumination Planning in Discretized Light Space)を紹介する。
- 参考スコア（独自算出の注目度）: 19.021200954913475
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Photometric stereo is a powerful method for obtaining per-pixel surface normals from differently illuminated images of an object. While several methods address photometric stereo with different image (or light) counts ranging from one to two to a hundred, very few focus on learning optimal lighting configuration. Finding an optimal configuration is challenging due to the vast number of possible lighting directions. Moreover, exhaustively sampling all possibilities is impractical due to time and resource constraints. Photometric stereo methods have demonstrated promising performance on existing datasets, which feature limited light directions sparsely sampled from the light space. Therefore, can we optimally utilize these datasets for illumination planning? In this work, we introduce LIPIDS - Learning-based Illumination Planning In Discretized light Space to achieve minimal and optimal lighting configurations for photometric stereo under arbitrary light distribution. We propose a Light Sampling Network (LSNet) that optimizes lighting direction for a fixed number of lights by minimizing the normal loss through a normal regression network. The learned light configurations can directly estimate surface normals during inference, even using an off-the-shelf photometric stereo method. Extensive qualitative and quantitative analyses on synthetic and real-world datasets show that photometric stereo under learned lighting configurations through LIPIDS either surpasses or is nearly comparable to existing illumination planning methods across different photometric stereo backbones.
- Abstract（参考訳）: 光度ステレオは、被写体の異なる照明画像から画素当たりの表面正規値を得るための強力な方法である。
いくつかの方法は、1から2から100までの異なる画像(または光)を持つ測光ステレオに対処するが、最適な照明構成を学ぶことにはほとんど焦点を当てていない。
照明の方向が多すぎるため、最適な設定を見つけることは困難である。
さらに、時間と資源の制約により、全可能性の抜本的なサンプリングは不可能である。
光度ステレオ法は、光空間からわずかにサンプリングされた光方向が制限された既存のデータセットで有望な性能を示した。
したがって、これらのデータセットを照明計画に最適に利用できるか?
本研究ではLIPIDS-Learning-based Illumination Planning In Discretized Light Spaceを導入し,任意の光分布下での測光ステレオの最小かつ最適照明構成を実現する。
光サンプリングネットワーク (LSNet) を提案し, 通常の回帰ネットワークによる通常の損失を最小限に抑え, 一定数の光に対する光の方向を最適化する。
学習された光構成は、オフザシェルフの測光ステレオ法を用いても、推論中に表面の正規性を直接推定することができる。
合成および実世界のデータセットの大規模な定性的および定量的分析により、LIPIDSによる学習された照明構成下での測光ステレオは、異なる測光ステレオバックボーンにわたる既存の照明計画手法に匹敵するか、ほぼ同等であることが示された。
関連論文リスト
- MERLiN: Single-Shot Material Estimation and Relighting for Photometric Stereo [26.032964551717548]
光度ステレオは通常、表面の正常を正確に回復するために複数の光源を含む複雑なデータ取得装置を必要とする。
MERLiNは、単一の画像ベースの逆レンダリングとリライトを単一の統合フレームワークに統合したアテンションベースの時間ガラスネットワークである。
論文 参考訳（メタデータ） (2024-09-01T09:32:03Z) - MixLight: Borrowing the Best of both Spherical Harmonics and Gaussian Models [69.39388799906409]
既存の作業では、照明マップを生成したり、照明パラメータを回帰することによって照明を推定する。
本稿では,SHとSGの相補的特性を利用して,より完全な照明表現を実現するジョイントモデルであるMixLightを提案する。
論文 参考訳（メタデータ） (2024-04-19T10:17:10Z) - A CNN Based Approach for the Point-Light Photometric Stereo Problem [26.958763133729846]
本稿では、遠距離場光度ステレオにおける深部ニューラルネットワークの最近の改良を活用して、現実的な仮定を処理できるCNNベースのアプローチを提案する。
われわれのアプローチは、DiLiGenT実世界のデータセットの最先端よりも優れている。
近距離点光源PSデータに対する我々のアプローチの性能を測定するため、LUCESを「近距離点光のための最初の実世界のデータセット」として紹介する。
論文 参考訳（メタデータ） (2022-10-10T12:57:12Z) - Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。
本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。
本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
論文 参考訳（メタデータ） (2022-07-16T02:46:15Z) - Universal Photometric Stereo Network using Global Lighting Contexts [4.822598110892846]
本論文は、ユニバーサル測光ステレオと呼ばれる新しい測光ステレオタスクに取り組む。
様々な形状や素材の物体に対して、特定のモデルを仮定することなく、任意の照明のバリエーションで機能することが想定されている。
論文 参考訳（メタデータ） (2022-06-06T09:32:06Z) - Sparse Needlets for Lighting Estimation with Spherical Transport Loss [89.52531416604774]
NeedleLightは、新しい照明推定モデルであり、必要に応じて照明を表現し、周波数領域と空間領域を共同で照明推定することができる。
大規模な実験により、NeedleLightは、最先端の手法と比較して、複数の評価指標で常に優れた照明推定を実現していることがわかった。
論文 参考訳（メタデータ） (2021-06-24T15:19:42Z) - LUCES: A Dataset for Near-Field Point Light Source Photometric Stereo [30.31403197697561]
LUCESは, 様々な素材の14個のオブジェクトからなる, 近距離Ld点光のための最初の実世界のデータセットである。
52個のLEDを計る装置は、カメラから10から30cm離れた位置にある各物体に点灯するように設計されている。
提案するデータセットにおける最新の近接場測光ステレオアルゴリズムの性能評価を行った。
論文 参考訳（メタデータ） (2021-04-27T12:30:42Z) - GMLight: Lighting Estimation via Geometric Distribution Approximation [86.95367898017358]
本稿では,効率的な照明推定のための回帰ネットワークと生成プロジェクタを用いた照明推定フレームワークを提案する。
幾何学的な光の分布、光強度、周囲条件、および補助深さの点から照明シーンをパラメータ化し、純粋な回帰タスクとして推定します。
推定照明パラメータを用いて、生成プロジェクタはパノラマ照明マップを現実的な外観と周波数で合成する。
論文 参考訳（メタデータ） (2021-02-20T03:31:52Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳（メタデータ） (2020-10-17T23:40:43Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳（メタデータ） (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。