論文の概要: Mobile Robotic Multi-View Photometric Stereo
- arxiv url: http://arxiv.org/abs/2502.10842v1
- Date: Sat, 15 Feb 2025 16:10:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:09:15.816461
- Title: Mobile Robotic Multi-View Photometric Stereo
- Title（参考訳）: 移動ロボット多視点測光ステレオ
- Authors: Suryansh Kumar,
- Abstract要約: Multi-View Photometric Stereoは、画像からオブジェクトを詳細に3D取得する一般的な方法である。
典型的なMVPS実験装置は、うまく校正された光源と、取り外し不能なベースに設置された単眼カメラを必要とする。
これにより、移動プラットフォームでのMVPSの使用が制限され、モバイルロボティクスアプリケーションの3D取得におけるMVPSのメリットが制限されます。
- 参考スコア（独自算出の注目度）: 8.738692817482526
- License:
- Abstract: Multi-View Photometric Stereo (MVPS) is a popular method for fine-detailed 3D acquisition of an object from images. Despite its outstanding results on diverse material objects, a typical MVPS experimental setup requires a well-calibrated light source and a monocular camera installed on an immovable base. This restricts the use of MVPS on a movable platform, limiting us from taking MVPS benefits in 3D acquisition for mobile robotics applications. To this end, we introduce a new mobile robotic system for MVPS. While the proposed system brings advantages, it introduces additional algorithmic challenges. Addressing them, in this paper, we further propose an incremental approach for mobile robotic MVPS. Our approach leverages a supervised learning setup to predict per-view surface normal, object depth, and per-pixel uncertainty in model-predicted results. A refined depth map per view is obtained by solving an MVPS-driven optimization problem proposed in this paper. Later, we fuse the refined depth map while tracking the camera pose w.r.t the reference frame to recover globally consistent object 3D geometry. Experimental results show the advantages of our robotic system and algorithm, featuring the local high-frequency surface detail recovery with globally consistent object shape. Our work is beyond any MVPS system yet presented, providing encouraging results on objects with unknown reflectance properties using fewer frames without a tiring calibration and installation process, enabling computationally efficient robotic automation approach to photogrammetry. The proposed approach is nearly 100 times computationally faster than the state-of-the-art MVPS methods such as [1, 2] while maintaining the similar results when tested on subjects taken from the benchmark DiLiGenT MV dataset [3].
- Abstract（参考訳）: MVPS(Multi-View Photometric Stereo)は、画像からオブジェクトを詳細に3D取得するための一般的な方法である。
様々な材料オブジェクトに対する優れた結果にもかかわらず、典型的なMVPS実験装置は、うまく校正された光源と、取り外し不能なベースに設置された単眼カメラを必要とする。
これにより、移動プラットフォームでのMVPSの使用が制限され、モバイルロボティクスアプリケーションの3D取得におけるMVPSのメリットが制限されます。
この目的のために,MVPSのための新しい移動ロボットシステムを導入する。
提案システムにはメリットがあるが,さらにアルゴリズム上の課題も導入されている。
本稿では,移動ロボットMVPSに対する漸進的なアプローチを提案する。
提案手法では,教師付き学習装置を用いて,モデル予測結果における視面当たりの正規性,物体深度,画素ごとの不確実性を予測する。
本稿では,MVPSによる最適化問題を解くことにより,ビュー毎の精細度マップを得る。
その後、カメラのポーズを基準フレームで追跡しながら精細化された深度マップを融合し、グローバルに一貫したオブジェクト3D形状を復元する。
実験の結果,ロボットシステムとアルゴリズムの利点が示され,一貫した物体形状を持つ局所的な高周波表面詳細回復が実現された。
我々の研究は、まだ提示されていないMVPSシステムを超えており、少ないフレームで反射率特性の未知のオブジェクトに対して、タイリングキャリブレーションとインストレーションの工程を使わずに奨励的な結果を提供し、フォトグラムメトリーへの計算効率の良いロボット自動化アプローチを可能にしている。
提案手法は, [1, 2] のような最先端の MVPS 手法よりも100倍近く高速であり, ベンチマークである DiLiGenT MV データセット [3] から抽出した被験者でも同様の結果が得られた。
関連論文リスト
- NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo [32.39157133181186]
本稿では,新しい多視点測光ステレオ(MVPS)法を提案する。
我々の研究は、現在最先端のマルチビューPS-NeRFやスーパーノーマルと異なり、ピクセルごとの強度レンダリングを明示的に活用しています。
提案手法は,DiLiGenT-MVベンチマークで提案した古典的MVPS手法よりも優れていた。
論文 参考訳（メタデータ） (2024-05-20T14:26:07Z) - Instance-aware Multi-Camera 3D Object Detection with Structural Priors
Mining and Self-Boosting Learning [93.71280187657831]
カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。
画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
論文 参考訳（メタデータ） (2023-12-13T09:24:42Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - Multi-View Photometric Stereo Revisited [100.97116470055273]
多視点測光ステレオ(MVPS)は、画像から被写体を詳細に正確に3D取得する方法として好まれる。
MVPSは異方性や光沢などの他の対象物質と同様に,等方性に対しても有効である。
提案手法は、複数のベンチマークデータセットで広範囲にテストした場合に、最先端の結果を示す。
論文 参考訳（メタデータ） (2022-10-14T09:46:15Z) - A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。
マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。
我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-08-22T03:38:01Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳（メタデータ） (2021-10-11T20:20:03Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳（メタデータ） (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。