論文の概要: DEUX: Active Exploration for Learning Unsupervised Depth Perception
- arxiv url: http://arxiv.org/abs/2310.06164v1
- Date: Sat, 16 Sep 2023 23:33:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-15 14:15:36.561485
- Title: DEUX: Active Exploration for Learning Unsupervised Depth Perception
- Title(参考訳): DEUX: 教師なし深度知覚学習のためのアクティブな探索
- Authors: Marvin Chanc\'an, Alex Wong, Ian Abraham
- Abstract要約: 我々は,学習深度完了のための能動的,タスクインフォームドな深度不確実性に基づく運動計画手法を開発した。
提案手法は,ロボット学習に基づく深度推定の統合に関する新たな洞察を提供するとともに,ゼロショットの一般化をさらに改善することを示す。
- 参考スコア(独自算出の注目度): 8.044217507775999
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Depth perception models are typically trained on non-interactive datasets
with predefined camera trajectories. However, this often introduces systematic
biases into the learning process correlated to specific camera paths chosen
during data acquisition. In this paper, we investigate the role of how data is
collected for learning depth completion, from a robot navigation perspective,
by leveraging 3D interactive environments. First, we evaluate four depth
completion models trained on data collected using conventional navigation
techniques. Our key insight is that existing exploration paradigms do not
necessarily provide task-specific data points to achieve competent unsupervised
depth completion learning. We then find that data collected with respect to
photometric reconstruction has a direct positive influence on model
performance. As a result, we develop an active, task-informed, depth
uncertainty-based motion planning approach for learning depth completion, which
we call DEpth Uncertainty-guided eXploration (DEUX). Training with data
collected by our approach improves depth completion by an average greater than
18% across four depth completion models compared to existing exploration
methods on the MP3D test set. We show that our approach further improves
zero-shot generalization, while offering new insights into integrating robot
learning-based depth estimation.
- Abstract(参考訳): 深度知覚モデルは、通常、予め定義されたカメラ軌跡を持つ非インタラクティブデータセットで訓練される。
しかし、これはしばしば、データ取得時に選択された特定のカメラパスと相関する学習プロセスに体系的なバイアスをもたらす。
本稿では,ロボットナビゲーションの観点から,3次元インタラクティブ環境を活用することで,深度学習におけるデータ収集の役割について検討する。
まず,従来のナビゲーション手法を用いて収集したデータに基づいて訓練した4つの深度補完モデルを評価する。
我々の重要な洞察は、既存の探索パラダイムが、有能な教師なし深度完了学習を実現するために、必ずしもタスク固有のデータポイントを提供していないことである。
次に,測光再構成に関するデータ収集がモデル性能に直接的な影響を与えることを見出した。
その結果,Depth Uncertainty-Guided eXploration (DEUX) と呼ばれる,能動的かつタスクインフォームドな深度不確実性に基づく学習深度完了のための動作計画手法を開発した。
提案手法により収集したデータを用いたトレーニングは,MP3Dテストセットにおける既存の探査手法と比較して,4つの深度完了モデルに対して平均18%以上の深度完了率を向上する。
我々は,ロボット学習に基づく深度推定の統合に関する新たな洞察を提供しながら,ゼロショットの一般化をさらに改善することを示す。
関連論文リスト
- UnCLe: Unsupervised Continual Learning of Depth Completion [5.677777151863184]
UnCLeはマルチモーダル深度推定タスクの教師なし連続学習のための標準ベンチマークである。
連続したデータストリーム上の教師なし学習の実践シナリオ下で、深度補完モデルをベンチマークする。
論文 参考訳(メタデータ) (2024-10-23T17:56:33Z) - Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。
一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文 参考訳(メタデータ) (2024-06-17T07:43:53Z) - Depth-discriminative Metric Learning for Monocular 3D Object Detection [14.554132525651868]
本稿では,視覚的属性に関係なく,モデルが深度識別的特徴を抽出することを奨励する新しい計量学習手法を提案する。
本手法は, 各種ベースラインの性能を平均23.51%, 5.78%向上させる。
論文 参考訳(メタデータ) (2024-01-02T07:34:09Z) - Self-Supervised Depth Completion Guided by 3D Perception and Geometry
Consistency [17.68427514090938]
本稿では,3次元の知覚的特徴と多視点幾何整合性を利用して,高精度な自己監督深度補完法を提案する。
NYU-Depthv2 と VOID のベンチマークデータセットを用いた実験により,提案モデルが最先端の深度補完性能を実現することを示す。
論文 参考訳(メタデータ) (2023-12-23T14:19:56Z) - Robust Geometry-Preserving Depth Estimation Using Differentiable
Rendering [93.94371335579321]
我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。
包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。
我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
論文 参考訳(メタデータ) (2023-09-18T12:36:39Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T21:51:04Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳(メタデータ) (2022-11-07T16:17:47Z) - Depth Estimation Matters Most: Improving Per-Object Depth Estimation for
Monocular 3D Detection and Tracking [47.59619420444781]
検出・追跡を含む単眼的3D知覚へのアプローチは、LiDARベースの手法と比較して性能が劣ることが多い。
本稿では,オブジェクト(トラックレット)の複数のフレームに異なる表現(RGBと擬似LiDAR)と時間情報を組み合わせた多層融合手法を提案する。
論文 参考訳(メタデータ) (2022-06-08T03:37:59Z) - Unsupervised Single-shot Depth Estimation using Perceptual
Reconstruction [0.0]
この研究は、生成ニューラルネットワークの分野における最新の進歩を示し、それらを活用して完全に教師なしの単発深度合成を行う。
RGB-to-deepthとdeep-to-RGB転送用の2つのジェネレータを実装し,Wasserstein-1距離と新しい知覚再構成項を用いて同時に最適化した。
本研究で得られた成果は、実世界のアプリケーションにおいて、教師なし単発深度推定の大きな可能性を示している。
論文 参考訳(メタデータ) (2022-01-28T15:11:34Z) - PointContrast: Unsupervised Pre-training for 3D Point Cloud
Understanding [107.02479689909164]
本研究では,3次元表現学習の研究を支援することを目的とする。
教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
論文 参考訳(メタデータ) (2020-07-21T17:59:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。