論文の概要: Fast Light-Weight Near-Field Photometric Stereo
- arxiv url: http://arxiv.org/abs/2203.16515v1
- Date: Wed, 30 Mar 2022 17:51:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-31 16:53:24.764316
- Title: Fast Light-Weight Near-Field Photometric Stereo
- Title(参考訳): 高速軽量近接場光度ステレオ
- Authors: Daniel Lichy, Soumyadip Sengupta, David W. Jacobs
- Abstract要約: 我々は、光源が興味の対象に近づいた近距離場フォトメトリックステレオ(PS)に、エンド・ツー・エンドの学習ベースの最初のソリューションを導入する。
提案手法は高速で,52512$times$384の解像度画像から,コモディティGPU上で約1秒でメッシュを生成する。
- 参考スコア(独自算出の注目度): 18.368439939695573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the first end-to-end learning-based solution to near-field
Photometric Stereo (PS), where the light sources are close to the object of
interest. This setup is especially useful for reconstructing large immobile
objects. Our method is fast, producing a mesh from 52 512$\times$384 resolution
images in about 1 second on a commodity GPU, thus potentially unlocking several
AR/VR applications. Existing approaches rely on optimization coupled with a
far-field PS network operating on pixels or small patches. Using optimization
makes these approaches slow and memory intensive (requiring 17GB GPU and 27GB
of CPU memory) while using only pixels or patches makes them highly susceptible
to noise and calibration errors. To address these issues, we develop a
recursive multi-resolution scheme to estimate surface normal and depth maps of
the whole image at each step. The predicted depth map at each scale is then
used to estimate `per-pixel lighting' for the next scale. This design makes our
approach almost 45$\times$ faster and 2$^{\circ}$ more accurate (11.3$^{\circ}$
vs. 13.3$^{\circ}$ Mean Angular Error) than the state-of-the-art near-field PS
reconstruction technique, which uses iterative optimization.
- Abstract(参考訳): 本稿では,光源が対象物に近い近距離場測光ステレオ(ps)に対して,エンド・ツー・エンド学習に基づく最初の解法を提案する。
この構成は特に大きな移動体オブジェクトの再構成に有用である。
我々の手法は高速で、52512$\times$384の解像度画像からコモディティGPUで約1秒でメッシュを生成し、いくつかのAR/VRアプリケーションをアンロックする可能性がある。
既存のアプローチは、ピクセルや小さなパッチで動作する遠距離PSネットワークと組み合わせた最適化に依存している。
最適化を使用すると、これらのアプローチは遅くてメモリ集約的になり(17gb gpuと27gb cpuメモリが必要)、ピクセルやパッチのみを使用するとノイズやキャリブレーションエラーに強い影響を受けます。
これらの問題に対処するため、各ステップで画像全体の面正規および深度マップを推定する再帰的多分解能手法を開発した。
次に、各スケールの予測深度マップを用いて次のスケールの「ピクセル当たりの照明」を推定する。
この設計により、我々のアプローチはほぼ45$\times$高速かつ2$^{\circ}$より正確な(11.3$^{\circ}$対13.3$^{\circ}$Mean Angular Error)が、反復最適化を用いた最先端の近距離PS再構成技術よりも優れている。
関連論文リスト
- VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - SplitNeRF: Split Sum Approximation Neural Field for Joint Geometry,
Illumination, and Material Estimation [65.99344783327054]
本稿では, 実世界の物体の形状, 材料特性, 照明特性を推定してデジタル化する手法を提案する。
提案手法は,実時間物理ベースのレンダリングに画像ベースの照明で使用される分割和近似を,レーダランスニューラルネットワーク(NeRF)パイプラインに組み込む。
提案手法は,NVIDIA A100 GPUを1つのGPUで1時間に1ドル程度のトレーニングをした後で,最先端のリライト品質を実現することができる。
論文 参考訳(メタデータ) (2023-11-28T10:36:36Z) - Multi-Scale 3D Gaussian Splatting for Anti-Aliased Rendering [52.89132136136605]
3Dガウシアンは最近、3D再構成とレンダリングの非常に効率的な表現として現れた。
そこで本研究では,ガウスを異なるスケールで維持し,同じシーンを表現できるマルチスケール3次元ガウススプラッティングアルゴリズムを提案する。
提案アルゴリズムは13%-66%のPSNRと160%-2400%のレンダリング速度を4$times$-128$times$ scale rendering on Mip-NeRF360 data。
論文 参考訳(メタデータ) (2023-11-28T03:31:35Z) - Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot
Images [47.14713579719103]
オーバーフィッティングを緩和するための幾何ガイドとして,密集深度マップを導入する。
調整された深度は3Dガウススプラッティングのカラーベース最適化に有効である。
提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
論文 参考訳(メタデータ) (2023-11-22T13:53:04Z) - RayMVSNet++: Learning Ray-based 1D Implicit Fields for Accurate
Multi-View Stereo [21.209964556493368]
RayMVSNetは、シーン深度を示すゼロクロスポイントを用いて、各カメラ線に沿った1次元暗黙フィールドの逐次予測を学習する。
RayMVSNet++はScanNetデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-07-16T02:10:47Z) - CoordFill: Efficient High-Resolution Image Inpainting via Parameterized
Coordinate Querying [52.91778151771145]
本稿では,近年の連続的暗黙表現の発達により,その限界を初めて破ろうとする。
実験の結果,提案手法はGTX 2080 Ti GPUを用いて2048$times$2048の画像をリアルタイムに処理できることがわかった。
論文 参考訳(メタデータ) (2023-03-15T11:13:51Z) - A CNN Based Approach for the Point-Light Photometric Stereo Problem [26.958763133729846]
本稿では、遠距離場光度ステレオにおける深部ニューラルネットワークの最近の改良を活用して、現実的な仮定を処理できるCNNベースのアプローチを提案する。
われわれのアプローチは、DiLiGenT実世界のデータセットの最先端よりも優れている。
近距離点光源PSデータに対する我々のアプローチの性能を測定するため、LUCESを「近距離点光のための最初の実世界のデータセット」として紹介する。
論文 参考訳(メタデータ) (2022-10-10T12:57:12Z) - RayMVSNet: Learning Ray-based 1D Implicit Fields for Accurate Multi-View
Stereo [35.22032072756035]
RayMVSNetは、シーン深度を示すゼロクロスポイントを用いて、各カメラ線に沿った1次元暗黙フィールドの逐次予測を学習する。
本手法は,従来の学習手法よりも,DTUとTurps & Templesのデータセットの上位にランク付けする。
論文 参考訳(メタデータ) (2022-04-04T08:43:38Z) - Accelerating Inverse Rendering By Using a GPU and Reuse of Light Paths [14.213973379473652]
逆レンダリングは、一連のデータ画像からシーン特性を推定しようとする。
このようなアルゴリズムは、通常フォワードモデルに依存し、反復ごとに数百万光路をサンプリングする必要がある反復勾配法を使用する。
これは、GPUアーキテクチャに特化して逆レンダリングの反復プロセスを調整することで達成される。
論文 参考訳(メタデータ) (2021-09-30T20:53:08Z) - Spatial-Separated Curve Rendering Network for Efficient and
High-Resolution Image Harmonization [59.19214040221055]
本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。
提案手法は従来の手法と比較して90%以上のパラメータを減少させる。
提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
論文 参考訳(メタデータ) (2021-09-13T07:20:16Z) - A CNN Based Approach for the Near-Field Photometric Stereo Problem [26.958763133729846]
我々は、フォトメトリックステレオにおける現実的な仮定を処理できる最初のCNNベースのアプローチを提案する。
我々は、遠距離場光度ステレオに対するディープニューラルネットワークの最近の改良を活用し、ニアフィールド設定に適応する。
本手法は, 合成実験と実実験の両方において, 最先端の近距離場光度ステレオ法より優れる。
論文 参考訳(メタデータ) (2020-09-12T13:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。