論文の概要: Single-Shot Metric Depth from Focused Plenoptic Cameras
- arxiv url: http://arxiv.org/abs/2412.02386v1
- Date: Tue, 03 Dec 2024 11:21:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:44:22.914371
- Title: Single-Shot Metric Depth from Focused Plenoptic Cameras
- Title（参考訳）: 集束型複眼カメラからの単眼メートル深度
- Authors: Blanca Lasheras-Hernandez, Klaus H. Strobl, Sergio Izquierdo, Tim Bodenmüller, Rudolph Triebel, Javier Civera,
- Abstract要約: 視覚センサによる距離推定は、ロボットが環境を知覚し、ナビゲートし、操作するために不可欠である。
光電界イメージングは、単一のデバイスを通してユニークなレンズ構成を使用することで、メートル法深度を推定するための有望なソリューションを提供する。
我々の研究は、高密度なメートル法深度のための集束型レンズカメラの可能性を探究する。
- 参考スコア（独自算出の注目度）: 18.412662939667676
- License:
- Abstract: Metric depth estimation from visual sensors is crucial for robots to perceive, navigate, and interact with their environment. Traditional range imaging setups, such as stereo or structured light cameras, face hassles including calibration, occlusions, and hardware demands, with accuracy limited by the baseline between cameras. Single- and multi-view monocular depth offers a more compact alternative, but is constrained by the unobservability of the metric scale. Light field imaging provides a promising solution for estimating metric depth by using a unique lens configuration through a single device. However, its application to single-view dense metric depth is under-addressed mainly due to the technology's high cost, the lack of public benchmarks, and proprietary geometrical models and software. Our work explores the potential of focused plenoptic cameras for dense metric depth. We propose a novel pipeline that predicts metric depth from a single plenoptic camera shot by first generating a sparse metric point cloud using machine learning, which is then used to scale and align a dense relative depth map regressed by a foundation depth model, resulting in dense metric depth. To validate it, we curated the Light Field & Stereo Image Dataset (LFS) of real-world light field images with stereo depth labels, filling a current gap in existing resources. Experimental results show that our pipeline produces accurate metric depth predictions, laying a solid groundwork for future research in this field.
- Abstract（参考訳）: 視覚センサによる距離推定は、ロボットが環境を知覚し、ナビゲートし、操作するために不可欠である。
ステレオカメラや構造化光カメラ、キャリブレーション、オクルージョン、ハードウェア要求などの従来のレンジ撮影装置は、カメラ間のベースラインによって精度が制限される。
シングルビューとマルチビューの単分子深度はよりコンパクトな代替手段を提供するが、計量スケールの観測不可能さに制約される。
光電界イメージングは、単一のデバイスを通してユニークなレンズ構成を使用することで、メートル法深度を推定するための有望なソリューションを提供する。
しかし、シングルビューの高密度メートル法への応用は、主に技術コストの高騰、公開ベンチマークの欠如、プロプライエタリな幾何学モデルとソフトウェアのために、過小評価されている。
我々の研究は、高密度なメートル法深度のための集束型レンズカメラの可能性を探究する。
本稿では, 基礎深度モデルにより回帰された密度相対深度マップのスケール・アライメントに使用される機械学習を用いて, 粗い距離点雲を最初に生成することにより, 単眼カメラから距離深度を予測するパイプラインを提案する。
これを検証するため,実世界の光フィールド画像の光フィールドとステレオ画像データセット(LFS)をステレオディープラベルでキュレートし,既存の資源のギャップを埋めた。
実験結果から,我々のパイプラインは正確なメートル法深度予測を導出し,今後の研究の基盤となるものと考えられる。
関連論文リスト
- GVDepth: Zero-Shot Monocular Depth Estimation for Ground Vehicles based on Probabilistic Cue Fusion [7.588468985212172]
計量単分子深度推定の一般化は、その不適切な性質のために重要な課題となる。
本稿では,様々なカメラ設定の整合性を維持する新しい標準表現を提案する。
また,物体の大きさや垂直位置の手がかりによって推定される深度を適応的かつ確率的に融合する新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-12-08T22:04:34Z) - Depth Pro: Sharp Monocular Metric Depth in Less Than a Second [45.6690958201871]
ゼロショット距離単眼深度推定のための基礎モデルを提案する。
我々のモデルであるDepth Proは、非並列のシャープネスと高周波の詳細で高分解能深度マップを合成する。
標準GPUで0.3秒で2.25メガピクセルの深度マップを生成する。
論文 参考訳（メタデータ） (2024-10-02T22:42:20Z) - ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
本研究では,新しい単分子深度推定法であるScaleDepthを提案する。
提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。
本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
論文 参考訳（メタデータ） (2024-07-11T05:11:56Z) - Metric3Dv2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation [74.28509379811084]
Metric3D v2は、ゼロショット距離深さと1枚の画像からの表面正規推定のための幾何学的基礎モデルである。
距離深度推定と表面正規度推定の両方の解を提案する。
本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
論文 参考訳（メタデータ） (2024-03-22T02:30:46Z) - GEDepth: Ground Embedding for Monocular Depth Estimation [4.95394574147086]
本稿では,画像からカメラパラメータを分離する新たな接地モジュールを提案する。
地下深度と残留深度を最適に組み合わせるために、地上の注意をモジュール内に設計する。
実験の結果,本手法は一般的なベンチマークで最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-09-18T17:56:06Z) - Blur aware metric depth estimation with multi-focus plenoptic cameras [8.508198765617196]
多焦点レンズカメラからの原画像のみを用いた新しい距離深度推定アルゴリズムを提案する。
提案手法は、焦点距離の異なる複数のマイクロレンズを用いるマルチフォーカス構成に特に適している。
論文 参考訳（メタデータ） (2023-08-08T13:38:50Z) - Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。
我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。
従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
論文 参考訳（メタデータ） (2022-08-26T13:04:01Z) - SurroundDepth: Entangling Surrounding Views for Self-Supervised
Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。
具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。
実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-04-07T17:58:47Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳（メタデータ） (2021-03-30T21:22:26Z) - Baseline and Triangulation Geometry in a Standard Plenoptic Camera [6.719751155411075]
レンズカメラに三角測量を適用可能な幾何学的光場モデルを提案する。
提案手法から推定した距離は,カメラの前に設置した実物の距離と一致している。
論文 参考訳（メタデータ） (2020-10-09T15:31:14Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。