論文の概要: Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation

• arxiv url: http://arxiv.org/abs/2412.14015v1
• Date: Wed, 18 Dec 2024 16:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:49.525712
• Title: Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation
• Title（参考訳）: 4K分解能の正確なメートル法深さ推定のためのプロンプティング深さ推定法
• Authors: Haotong Lin, Sida Peng, Jingxiao Chen, Songyou Peng, Jiaming Sun, Minghuan Liu, Hujun Bao, Jiashi Feng, Xiaowei Zhou, Bingyi Kang,
• Abstract要約: 本稿では、深度基礎モデルにプロンプトを導入し、Prompt Depth Anythingと呼ばれる計量深度推定のための新しいパラダイムを作成する。 低コストのLiDARを用いて、Depth Anythingモデルによる正確なメートル法深度出力を導出し、最大4K解像度を達成する。
• 参考スコア（独自算出の注目度）: 108.04354143020886
• License:
• Abstract: Prompts play a critical role in unleashing the power of language and vision foundation models for specific tasks. For the first time, we introduce prompting into depth foundation models, creating a new paradigm for metric depth estimation termed Prompt Depth Anything. Specifically, we use a low-cost LiDAR as the prompt to guide the Depth Anything model for accurate metric depth output, achieving up to 4K resolution. Our approach centers on a concise prompt fusion design that integrates the LiDAR at multiple scales within the depth decoder. To address training challenges posed by limited datasets containing both LiDAR depth and precise GT depth, we propose a scalable data pipeline that includes synthetic data LiDAR simulation and real data pseudo GT depth generation. Our approach sets new state-of-the-arts on the ARKitScenes and ScanNet++ datasets and benefits downstream applications, including 3D reconstruction and generalized robotic grasping.
• Abstract（参考訳）: プロンプトは特定のタスクのために言語と視覚基盤モデルの力を解放する上で重要な役割を担っている。 初めて深度基礎モデルにプロンプトを導入し、Prompt Depth Anythingと呼ばれる計量深度推定のための新しいパラダイムを作成します。 具体的には、低コストのLiDARを用いて、Depth Anythingモデルによる正確なメートル法深度出力を導出し、最大4Kの解像度を達成する。 提案手法は,深度デコーダ内の複数スケールでLiDARを統合する,簡潔なプロンプト融合設計に重点を置いている。 LiDAR深度と正確なGT深度の両方を含む限られたデータセットによるトレーニング課題に対処するため、合成データLiDARシミュレーションと実データ擬似GT深度生成を含むスケーラブルなデータパイプラインを提案する。 弊社のアプローチでは、ARKitScenesとScanNet++のデータセットに新たな最先端技術が設定され、3D再構成や一般化されたロボットの把握など、下流アプリケーションにメリットがある。

関連論文リスト

• DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
  ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。 まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。 また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:58Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• LiDAR Meta Depth Completion [47.99004789132264]
  本稿では,データパターンを用いてタスクネットワークを学習し,与えられた深度完了タスクを効果的に解決するメタ深度補完ネットワークを提案する。 一つのモデルを用いて、異なるLiDARパターンで訓練された非適応ベースラインよりも、はるかに優れた結果が得られる。 これらの利点は、異なるセンサーに単一の深度補完モデルの柔軟な展開を可能にする。
  論文  参考訳（メタデータ） (2023-07-24T13:05:36Z)
• Mind The Edge: Refining Depth Edges in Sparsely-Supervised Monocular Depth Estimation [42.19770683222846]
  単眼深度推定(MDE)はコンピュータビジョンの基本的な問題であり、多くの応用がある。 本稿では,密集した合成データから深度エッジの位置を検出することを提案する。 いくつかの挑戦的データセットに対して,画素ごとの深度精度を比較検討することにより,深度エッジの精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2022-12-10T14:49:24Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
  我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。 異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。 提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-15T10:02:46Z)
• DenseLiDAR: A Real-Time Pseudo Dense Depth Guided Depth Completion Network [3.1447111126464997]
  本稿では,DenseLiDARを提案する。 単純な形態的操作から得られた高密度な擬似深度マップを利用してネットワークを誘導する。 我々のモデルは50Hzのフレームレートで最先端の性能を達成することができる。
  論文  参考訳（メタデータ） (2021-08-28T14:18:29Z)
• Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction [87.08227378010874]
  深度予測における高次3次元幾何学的制約の重要性を示す。 単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。 The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
  論文  参考訳（メタデータ） (2021-03-07T00:08:21Z)
• ADAADepth: Adapting Data Augmentation and Attention for Self-Supervised Monocular Depth Estimation [8.827921242078881]
  深度向上を深度監督として活用し、正確で堅牢な深度を学習するADAAを提案します。 本稿では,リッチなコンテキスト特徴を学習し,さらに深度を向上するリレーショナル自己認識モジュールを提案する。 KITTI運転データセットの予測深度を評価し、最新の結果を実現します。
  論文  参考訳（メタデータ） (2021-03-01T09:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。