論文の概要: LiDAR Meta Depth Completion
- arxiv url: http://arxiv.org/abs/2307.12761v2
- Date: Wed, 16 Aug 2023 13:03:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 16:21:12.602277
- Title: LiDAR Meta Depth Completion
- Title(参考訳): LiDARメタ深度補完
- Authors: Wolfgang Boettcher, Lukas Hoyer, Ozan Unal, Ke Li, Dengxin Dai
- Abstract要約: 本稿では,データパターンを用いてタスクネットワークを学習し,与えられた深度完了タスクを効果的に解決するメタ深度補完ネットワークを提案する。
一つのモデルを用いて、異なるLiDARパターンで訓練された非適応ベースラインよりも、はるかに優れた結果が得られる。
これらの利点は、異なるセンサーに単一の深度補完モデルの柔軟な展開を可能にする。
- 参考スコア(独自算出の注目度): 47.99004789132264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth estimation is one of the essential tasks to be addressed when creating
mobile autonomous systems. While monocular depth estimation methods have
improved in recent times, depth completion provides more accurate and reliable
depth maps by additionally using sparse depth information from other sensors
such as LiDAR. However, current methods are specifically trained for a single
LiDAR sensor. As the scanning pattern differs between sensors, every new sensor
would require re-training a specialized depth completion model, which is
computationally inefficient and not flexible. Therefore, we propose to
dynamically adapt the depth completion model to the used sensor type enabling
LiDAR adaptive depth completion. Specifically, we propose a meta depth
completion network that uses data patterns derived from the data to learn a
task network to alter weights of the main depth completion network to solve a
given depth completion task effectively. The method demonstrates a strong
capability to work on multiple LiDAR scanning patterns and can also generalize
to scanning patterns that are unseen during training. While using a single
model, our method yields significantly better results than a non-adaptive
baseline trained on different LiDAR patterns. It outperforms LiDAR-specific
expert models for very sparse cases. These advantages allow flexible deployment
of a single depth completion model on different sensors, which could also prove
valuable to process the input of nascent LiDAR technology with adaptive instead
of fixed scanning patterns.
- Abstract(参考訳): 深度推定は、モバイル自律システムを構築する際に対処すべき重要なタスクの1つである。
近年では単眼深度推定法が改良されているが,LiDARなど他のセンサからのスパース深度情報を付加することにより,より正確で信頼性の高い深度マップを提供する。
しかし、現在の方法は1つのLiDARセンサーに対して特別に訓練されている。
センサー間で走査パターンが異なるため、新しいセンサーは、計算効率が悪く柔軟性がない特殊な深度完了モデルを再訓練する必要がある。
そこで本研究では,LiDAR適応深度補修が可能なセンサタイプに,深度補修モデルを動的に適用することを提案する。
具体的には、データから派生したデータパターンを用いてタスクネットワークを学習し、メイン深度完了ネットワークの重みを変更することで、与えられた深度完了タスクを効果的に解決するメタ深度完了ネットワークを提案する。
この方法は、複数のLiDARスキャンパターンに取り組む強力な能力を示し、トレーニング中に目に見えないパターンを一般化する。
単一モデルを用いることで、異なるlidarパターンでトレーニングされた非適応ベースラインよりもはるかに優れた結果が得られる。
非常にスパースなケースでは、LiDAR固有のエキスパートモデルよりも優れています。
これらの利点は、異なるセンサーに単一の深度補完モデルを柔軟に配置することを可能にし、これはまた、固定走査パターンの代わりに適応的なLiDAR技術の入力を処理するのに有用であることも証明できる。
関連論文リスト
- UnCLe: Unsupervised Continual Learning of Depth Completion [5.677777151863184]
UnCLeはマルチモーダル深度推定タスクの教師なし連続学習のための標準ベンチマークである。
連続したデータストリーム上の教師なし学習の実践シナリオ下で、深度補完モデルをベンチマークする。
論文 参考訳(メタデータ) (2024-10-23T17:56:33Z) - Finetuning Pre-trained Model with Limited Data for LiDAR-based 3D Object Detection by Bridging Domain Gaps [8.897884780881535]
LiDARベースの3Dオブジェクト検出器は、センサーの設定が異なるターゲットドメインにうまく適応できないことが多い。
近年の研究では、トレーニング済みのバックボーンは大規模でラベルのないLiDARフレームで自己管理的に学習できることが示唆されている。
本研究では,対象データに制限のある事前学習モデルを適用するために,DADT(Domain Adaptive Distill-Tuning)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2024-10-02T08:22:42Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳(メタデータ) (2024-04-05T17:55:33Z) - LRRU: Long-short Range Recurrent Updating Networks for Depth Completion [45.48580252300282]
深度補修をより効率的に行うために,Long-Short Range Recurrent Updating (LRRU) ネットワークを提案する。
LRRUはまずスパース入力を大まかに満たして初期密度の深度マップを取得し、次に学習された空間変化カーネルを通して反復的に更新する。
我々の初期深度マップには粗いが完全な深度情報があり、粗い深度から深度を直接退避させる負担を軽減できる。
論文 参考訳(メタデータ) (2023-10-13T09:04:52Z) - Towards Domain-agnostic Depth Completion [28.25756709062647]
既存の深度補完法は、しばしば特定のスパース深度型を目標とし、タスク領域をまたいだ一般化が不十分である。
各種センサで得られたスパース/セミデンス,ノイズ,および低分解能深度マップを完備する手法を提案する。
本手法は,最先端の深度補完法に対して優れたクロスドメイン一般化能力を示す。
論文 参考訳(メタデータ) (2022-07-29T04:10:22Z) - SelfTune: Metrically Scaled Monocular Depth Estimation through
Self-Supervised Learning [53.78813049373321]
本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。
本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
論文 参考訳(メタデータ) (2022-03-10T12:28:42Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳(メタデータ) (2022-03-09T17:20:18Z) - End-To-End Optimization of LiDAR Beam Configuration for 3D Object
Detection and Localization [87.56144220508587]
与えられたアプリケーションに対するLiDARビーム構成の最適化を学ぶために、新しい経路を取る。
ビーム構成を自動的に最適化する強化学習に基づく学習最適化フレームワークを提案する。
本手法は低解像度(低コスト)のLiDARが必要な場合に特に有用である。
論文 参考訳(メタデータ) (2022-01-11T09:46:31Z) - An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。
正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T02:27:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。