論文の概要: Depth Prompting for Sensor-Agnostic Depth Estimation
- arxiv url: http://arxiv.org/abs/2405.11867v1
- Date: Mon, 20 May 2024 08:19:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 13:44:14.802064
- Title: Depth Prompting for Sensor-Agnostic Depth Estimation
- Title(参考訳): センサ非依存深度推定のための深さプロンプト
- Authors: Jin-Hwi Park, Chanhwi Jeong, Junoh Lee, Hae-Gon Jeon,
- Abstract要約: 我々は,新しい深度分布に応じて望ましい特徴表現を可能にするために,新しい深度プロンプトモジュールを設計する。
提案手法は,事前学習したモデルに対して,深度スキャン範囲の制限を不要とし,絶対スケールの深度マップを提供する。
- 参考スコア(独自算出の注目度): 19.280536006736575
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Dense depth maps have been used as a key element of visual perception tasks. There have been tremendous efforts to enhance the depth quality, ranging from optimization-based to learning-based methods. Despite the remarkable progress for a long time, their applicability in the real world is limited due to systematic measurement biases such as density, sensing pattern, and scan range. It is well-known that the biases make it difficult for these methods to achieve their generalization. We observe that learning a joint representation for input modalities (e.g., images and depth), which most recent methods adopt, is sensitive to the biases. In this work, we disentangle those modalities to mitigate the biases with prompt engineering. For this, we design a novel depth prompt module to allow the desirable feature representation according to new depth distributions from either sensor types or scene configurations. Our depth prompt can be embedded into foundation models for monocular depth estimation. Through this embedding process, our method helps the pretrained model to be free from restraint of depth scan range and to provide absolute scale depth maps. We demonstrate the effectiveness of our method through extensive evaluations. Source code is publicly available at https://github.com/JinhwiPark/DepthPrompting .
- Abstract(参考訳): 深度マップは視覚知覚タスクの重要な要素として使われてきた。
最適化に基づくものから学習に基づくものまで、奥行きの質を高めるための膨大な努力が続けられている。
長期にわたる顕著な進歩にもかかわらず、密度、センシングパターン、スキャン範囲などの体系的な測定バイアスにより、現実の世界での適用性は制限されている。
偏見がこれらの手法の一般化を困難にしていることはよく知られている。
直近の手法が採用している入力モダリティ(例えば画像や深さ)の合同表現の学習はバイアスに敏感であることが観察された。
この研究では、これらのモダリティをアンタングルしてバイアスを軽減し、迅速なエンジニアリングを行う。
そこで我々は,センサタイプとシーン構成のいずれからでも,新たな深度分布に応じて望ましい特徴表現を可能にする,新しい深度プロンプトモジュールを設計する。
我々の深度プロンプトは、単分子深度推定の基礎モデルに組み込むことができる。
この埋め込みにより,事前学習したモデルが深度スキャン範囲の制限を受けないようにし,絶対スケールの深度マップを提供する。
提案手法の有効性を広範囲な評価により実証する。
ソースコードはhttps://github.com/JinhwiPark/DepthPrompting.comで公開されている。
関連論文リスト
- ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
本研究では,新しい単分子深度推定法であるScaleDepthを提案する。
提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。
本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
論文 参考訳(メタデータ) (2024-07-11T05:11:56Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳(メタデータ) (2024-04-05T17:55:33Z) - Towards Domain-agnostic Depth Completion [28.25756709062647]
既存の深度補完法は、しばしば特定のスパース深度型を目標とし、タスク領域をまたいだ一般化が不十分である。
各種センサで得られたスパース/セミデンス,ノイズ,および低分解能深度マップを完備する手法を提案する。
本手法は,最先端の深度補完法に対して優れたクロスドメイン一般化能力を示す。
論文 参考訳(メタデータ) (2022-07-29T04:10:22Z) - SelfTune: Metrically Scaled Monocular Depth Estimation through
Self-Supervised Learning [53.78813049373321]
本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。
本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
論文 参考訳(メタデータ) (2022-03-10T12:28:42Z) - Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。
本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
論文 参考訳(メタデータ) (2021-05-25T19:41:38Z) - Towards Unpaired Depth Enhancement and Super-Resolution in the Wild [121.96527719530305]
最先端のデータ駆動による深度マップの超解像法は、同じシーンの低解像度と高解像度の深度マップの登録ペアに依存している。
未経験データからの学習に基づく深度マップの強化について考察する。
論文 参考訳(メタデータ) (2021-05-25T16:19:16Z) - ADAADepth: Adapting Data Augmentation and Attention for Self-Supervised
Monocular Depth Estimation [8.827921242078881]
深度向上を深度監督として活用し、正確で堅牢な深度を学習するADAAを提案します。
本稿では,リッチなコンテキスト特徴を学習し,さらに深度を向上するリレーショナル自己認識モジュールを提案する。
KITTI運転データセットの予測深度を評価し、最新の結果を実現します。
論文 参考訳(メタデータ) (2021-03-01T09:06:55Z) - Guiding Monocular Depth Estimation Using Depth-Attention Volume [38.92495189498365]
本研究では,特に屋内環境に広く分布する平面構造を優先するための奥行き推定法を提案する。
2つのポピュラーな屋内データセットであるNYU-Depth-v2とScanNetの実験により,本手法が最先端の深度推定結果を実現することを示す。
論文 参考訳(メタデータ) (2020-04-06T15:45:52Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳(メタデータ) (2020-04-02T07:10:45Z) - Monocular Depth Estimation Based On Deep Learning: An Overview [16.2543991384566]
単一の画像から深度情報(眼深度推定)を推定することは不適切な問題である。
ディープラーニングは最近広く研究され、精度で有望なパフォーマンスを達成した。
深度推定の精度を向上させるために,様々な種類のネットワークフレームワーク,損失関数,トレーニング戦略を提案する。
論文 参考訳(メタデータ) (2020-03-14T12:35:34Z) - Don't Forget The Past: Recurrent Depth Estimation from Monocular Video [92.84498980104424]
私たちは3つの異なる種類の深さ推定を共通のフレームワークに組み込んだ。
提案手法は, 時系列の深度マップを生成する。
モノクロビデオにのみ適用したり、異なる種類のスパース深度パターンと組み合わせたりすることができる。
論文 参考訳(メタデータ) (2020-01-08T16:50:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。