論文の概要: HybridDepth: Robust Metric Depth Fusion by Leveraging Depth from Focus and Single-Image Priors
- arxiv url: http://arxiv.org/abs/2407.18443v2
- Date: Mon, 28 Oct 2024 23:54:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 14:50:05.163944
- Title: HybridDepth: Robust Metric Depth Fusion by Leveraging Depth from Focus and Single-Image Priors
- Title（参考訳）: HybridDepth: 焦点と単一画像からの深度を利用したロバストメートル深度核融合
- Authors: Ashkan Ganj, Hang Su, Tian Guo,
- Abstract要約: 本稿では,深度推定における重要な課題に対処する頑健な深度推定パイプラインHYBRIDDEPTHを提案する。
パイプラインをエンドツーエンドシステムとしてテストし、新たに開発されたモバイルクライアントを使用して焦点スタックをキャプチャし、深さ推定のためにGPU駆動のサーバに送信する。
包括的定量的および定性的分析により、HYBRIDDEPTHは共通のデータセット上での最先端(SOTA)モデルより優れていることが示された。
- 参考スコア（独自算出の注目度）: 10.88048563201236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose HYBRIDDEPTH, a robust depth estimation pipeline that addresses key challenges in depth estimation,including scale ambiguity, hardware heterogeneity, and generalizability. HYBRIDDEPTH leverages focal stack, data conveniently accessible in common mobile devices, to produce accurate metric depth maps. By incorporating depth priors afforded by recent advances in singleimage depth estimation, our model achieves a higher level of structural detail compared to existing methods. We test our pipeline as an end-to-end system, with a newly developed mobile client to capture focal stacks, which are then sent to a GPU-powered server for depth estimation. Comprehensive quantitative and qualitative analyses demonstrate that HYBRIDDEPTH outperforms state-of-the-art(SOTA) models on common datasets such as DDFF12 and NYU Depth V2. HYBRIDDEPTH also shows strong zero-shot generalization. When trained on NYU Depth V2, HYBRIDDEPTH surpasses SOTA models in zero-shot performance on ARKitScenes and delivers more structurally accurate depth maps on Mobile Depth.
- Abstract（参考訳）: 本稿では, ハードウェアの不均一性, 一般化性など, 深度推定における重要な課題に対処する頑健な深度推定パイプラインHYBRIDDEPTHを提案する。
HYBRIDDEPTHは、一般的なモバイルデバイスで便利なデータである焦点スタックを活用して、正確な距離深度マップを生成する。
近年の単一画像深度推定の進歩により得られた深度事前を組み込むことで,既存手法と比較して構造的詳細度の高い精度が得られる。
パイプラインをエンドツーエンドシステムとしてテストし、新たに開発されたモバイルクライアントを使用して焦点スタックをキャプチャし、深さ推定のためにGPU駆動のサーバに送信する。
包括的定量的および定性的分析により、HYBRIDDEPTHはDDFF12やNYU Depth V2のような一般的なデータセット上で、最先端(SOTA)モデルより優れていることが示された。
HYBRIDDEPTHは強いゼロショットの一般化を示す。
NYU Depth V2でトレーニングを行うと、HYBRIDDEPTHはARKitScenesでゼロショットのパフォーマンスでSOTAモデルを超え、Mobile Depthでより構造的に正確な深度マップを提供する。
関連論文リスト
- Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation [108.04354143020886]
本稿では、深度基礎モデルにプロンプトを導入し、Prompt Depth Anythingと呼ばれる計量深度推定のための新しいパラダイムを作成する。
低コストのLiDARを用いて、Depth Anythingモデルによる正確なメートル法深度出力を導出し、最大4K解像度を達成する。
論文 参考訳（メタデータ） (2024-12-18T16:32:12Z) - DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。
まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。
また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
論文 参考訳（メタデータ） (2024-10-17T17:59:58Z) - Depth Pro: Sharp Monocular Metric Depth in Less Than a Second [45.6690958201871]
ゼロショット距離単眼深度推定のための基礎モデルを提案する。
我々のモデルであるDepth Proは、非並列のシャープネスと高周波の詳細で高分解能深度マップを合成する。
標準GPUで0.3秒で2.25メガピクセルの深度マップを生成する。
論文 参考訳（メタデータ） (2024-10-02T22:42:20Z) - OGNI-DC: Robust Depth Completion with Optimization-Guided Neural Iterations [23.0962036039182]
OGNI(Optimization-Guided Neural Iterations)は深度補正のための新しいフレームワークである。
OGNI-DCは強力な一般化を示し、目に見えないデータセットのベースラインと、さまざまな空間レベルのベースラインを上回ります。
精度が高く、NYUv2とKITTIベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-06-17T16:30:29Z) - Metrically Scaled Monocular Depth Estimation through Sparse Priors for
Underwater Robots [0.0]
三角特徴量からのスパース深度測定を融合して深度予測を改善する深度学習モデルを定式化する。
このネットワークは、前方に見える水中データセットFLSeaで教師ありの方法で訓練されている。
この方法は、ラップトップGPUで160FPS、単一のCPUコアで7FPSで実行することで、リアルタイムのパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-10-25T16:32:31Z) - Deep Neighbor Layer Aggregation for Lightweight Self-Supervised
Monocular Depth Estimation [1.6775954077761863]
文脈的特徴融合を用いた完全畳み込み深度推定ネットワークを提案する。
UNet++やHRNetと比較して、我々は、小さなターゲットや高速移動オブジェクトに関する情報を予約するために、高解像度で低解像度の機能を使用します。
本手法は精度を犠牲にすることなくパラメータを削減する。
論文 参考訳（メタデータ） (2023-09-17T13:40:15Z) - NVDS+: Towards Efficient and Versatile Neural Stabilizer for Video Depth Estimation [58.21817572577012]
ビデオ深度推定は時間的に一貫した深度を推定することを目的としている。
プラグ・アンド・プレイ方式で様々な単一画像モデルから推定される不整合深さを安定化するNVDS+を導入する。
このデータセットには、200万フレーム以上の14,203本のビデオが含まれている。
論文 参考訳（メタデータ） (2023-07-17T17:57:01Z) - Monocular Visual-Inertial Depth Estimation [66.71452943981558]
単眼深度推定と視覚慣性計測を統合した視覚慣性深度推定パイプラインを提案する。
提案手法は, 疎度度に対する大域的スケールとシフトアライメントを行い, 続いて学習に基づく高密度アライメントを行う。
本研究では,TartanAir と VOID のデータセットを用いて,密集したスケールアライメントによるRMSE の最大30%の削減を観測した。
論文 参考訳（メタデータ） (2023-03-21T18:47:34Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳（メタデータ） (2021-03-30T21:22:26Z) - HR-Depth: High Resolution Self-Supervised Monocular Depth Estimation [14.81943833870932]
本稿では,2つの効果的な戦略を持つ改良DepthNet,HR-Depthを提案する。
resnet-18をエンコーダとして使用すると、hr-depthは、高解像度と低解像度の両方で最小パラマエターを持つ、以前の最先端(sota)メソッドをすべて上回る。
論文 参考訳（メタデータ） (2020-12-14T09:15:15Z) - Efficient Depth Completion Using Learned Bases [94.0808155168311]
深度補正のための新しい大域的幾何制約を提案する。
低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
論文 参考訳（メタデータ） (2020-12-02T11:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。