論文の概要: Fast Light-Weight Near-Field Photometric Stereo
- arxiv url: http://arxiv.org/abs/2203.16515v1
- Date: Wed, 30 Mar 2022 17:51:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-31 16:53:24.764316
- Title: Fast Light-Weight Near-Field Photometric Stereo
- Title（参考訳）: 高速軽量近接場光度ステレオ
- Authors: Daniel Lichy, Soumyadip Sengupta, David W. Jacobs
- Abstract要約: 我々は、光源が興味の対象に近づいた近距離場フォトメトリックステレオ(PS)に、エンド・ツー・エンドの学習ベースの最初のソリューションを導入する。
提案手法は高速で,52512$times$384の解像度画像から,コモディティGPU上で約1秒でメッシュを生成する。
- 参考スコア（独自算出の注目度）: 18.368439939695573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the first end-to-end learning-based solution to near-field
Photometric Stereo (PS), where the light sources are close to the object of
interest. This setup is especially useful for reconstructing large immobile
objects. Our method is fast, producing a mesh from 52 512$\times$384 resolution
images in about 1 second on a commodity GPU, thus potentially unlocking several
AR/VR applications. Existing approaches rely on optimization coupled with a
far-field PS network operating on pixels or small patches. Using optimization
makes these approaches slow and memory intensive (requiring 17GB GPU and 27GB
of CPU memory) while using only pixels or patches makes them highly susceptible
to noise and calibration errors. To address these issues, we develop a
recursive multi-resolution scheme to estimate surface normal and depth maps of
the whole image at each step. The predicted depth map at each scale is then
used to estimate `per-pixel lighting' for the next scale. This design makes our
approach almost 45$\times$ faster and 2$^{\circ}$ more accurate (11.3$^{\circ}$
vs. 13.3$^{\circ}$ Mean Angular Error) than the state-of-the-art near-field PS
reconstruction technique, which uses iterative optimization.
- Abstract（参考訳）: 本稿では,光源が対象物に近い近距離場測光ステレオ(ps)に対して,エンド・ツー・エンド学習に基づく最初の解法を提案する。
この構成は特に大きな移動体オブジェクトの再構成に有用である。
我々の手法は高速で、52512$\times$384の解像度画像からコモディティGPUで約1秒でメッシュを生成し、いくつかのAR/VRアプリケーションをアンロックする可能性がある。
既存のアプローチは、ピクセルや小さなパッチで動作する遠距離PSネットワークと組み合わせた最適化に依存している。
最適化を使用すると、これらのアプローチは遅くてメモリ集約的になり(17gb gpuと27gb cpuメモリが必要)、ピクセルやパッチのみを使用するとノイズやキャリブレーションエラーに強い影響を受けます。
これらの問題に対処するため、各ステップで画像全体の面正規および深度マップを推定する再帰的多分解能手法を開発した。
次に、各スケールの予測深度マップを用いて次のスケールの「ピクセル当たりの照明」を推定する。
この設計により、我々のアプローチはほぼ45$\times$高速かつ2$^{\circ}$より正確な(11.3$^{\circ}$対13.3$^{\circ}$Mean Angular Error)が、反復最適化を用いた最先端の近距離PS再構成技術よりも優れている。
関連論文リスト
- EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - 3D Gaussian Ray Tracing: Fast Tracing of Particle Scenes [50.36933474990516]
本研究は, 粒子のトレーシング, 境界体積階層の構築, 高性能なレイトレーシングハードウェアを用いた各画素のレイキャストについて考察する。
半透明粒子の多量処理を効率的に行うために,有界メッシュで粒子をカプセル化するアルゴリズムについて述べる。
実験は、我々のアプローチの速度と精度、およびコンピュータグラフィックスとビジョンにおけるいくつかの応用を実証する。
論文 参考訳（メタデータ） (2024-07-09T17:59:30Z) - NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo [32.39157133181186]
本稿では,新しい多視点測光ステレオ(MVPS)法を提案する。
我々の研究は、現在最先端のマルチビューPS-NeRFやスーパーノーマルと異なり、ピクセルごとの強度レンダリングを明示的に活用しています。
提案手法は,DiLiGenT-MVベンチマークで提案した古典的MVPS手法よりも優れていた。
論文 参考訳（メタデータ） (2024-05-20T14:26:07Z) - A Construct-Optimize Approach to Sparse View Synthesis without Camera Pose [44.13819148680788]
カメラポーズを伴わないスパースビュー合成のための新しい構成と最適化手法を開発した。
具体的には、単分子深度と画素を3次元の世界に投影することで、解を構築する。
タンク・アンド・テンプル・アンド・スタティック・ハイクスのデータセットに3つの広い範囲のビューで結果を示す。
論文 参考訳（メタデータ） (2024-05-06T17:36:44Z) - MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。
大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-03-21T17:59:58Z) - Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。
テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。
いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
論文 参考訳（メタデータ） (2023-12-20T16:14:58Z) - CoordFill: Efficient High-Resolution Image Inpainting via Parameterized
Coordinate Querying [52.91778151771145]
本稿では,近年の連続的暗黙表現の発達により,その限界を初めて破ろうとする。
実験の結果,提案手法はGTX 2080 Ti GPUを用いて2048$times$2048の画像をリアルタイムに処理できることがわかった。
論文 参考訳（メタデータ） (2023-03-15T11:13:51Z) - A CNN Based Approach for the Point-Light Photometric Stereo Problem [26.958763133729846]
本稿では、遠距離場光度ステレオにおける深部ニューラルネットワークの最近の改良を活用して、現実的な仮定を処理できるCNNベースのアプローチを提案する。
われわれのアプローチは、DiLiGenT実世界のデータセットの最先端よりも優れている。
近距離点光源PSデータに対する我々のアプローチの性能を測定するため、LUCESを「近距離点光のための最初の実世界のデータセット」として紹介する。
論文 参考訳（メタデータ） (2022-10-10T12:57:12Z) - RayMVSNet: Learning Ray-based 1D Implicit Fields for Accurate Multi-View
Stereo [35.22032072756035]
RayMVSNetは、シーン深度を示すゼロクロスポイントを用いて、各カメラ線に沿った1次元暗黙フィールドの逐次予測を学習する。
本手法は,従来の学習手法よりも,DTUとTurps & Templesのデータセットの上位にランク付けする。
論文 参考訳（メタデータ） (2022-04-04T08:43:38Z) - Accelerating Inverse Rendering By Using a GPU and Reuse of Light Paths [14.213973379473652]
逆レンダリングは、一連のデータ画像からシーン特性を推定しようとする。
このようなアルゴリズムは、通常フォワードモデルに依存し、反復ごとに数百万光路をサンプリングする必要がある反復勾配法を使用する。
これは、GPUアーキテクチャに特化して逆レンダリングの反復プロセスを調整することで達成される。
論文 参考訳（メタデータ） (2021-09-30T20:53:08Z) - Spatial-Separated Curve Rendering Network for Efficient and
High-Resolution Image Harmonization [59.19214040221055]
本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。
提案手法は従来の手法と比較して90%以上のパラメータを減少させる。
提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
論文 参考訳（メタデータ） (2021-09-13T07:20:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。