論文の概要: Forget About the LiDAR: Self-Supervised Depth Estimators with MED Probability Volumes

• arxiv url: http://arxiv.org/abs/2008.03633v2
• Date: Sat, 26 Sep 2020 15:07:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 04:33:51.429522
• Title: Forget About the LiDAR: Self-Supervised Depth Estimators with MED Probability Volumes
• Title（参考訳）: LiDARを忘れる: MED確率容積を持つ自己監督深度推定器
• Authors: Juan Luis Gonzalez and Munchurl Kim
• Abstract要約: 自己教師付き深度推定器は、最近、難解な単一画像深度推定(SIDE)タスクにおける教師付き手法に匹敵する結果を示した。 これまでの研究は、厳密な測光仮定やSIDEネットワークに頼って、深度と閉塞を推測していた。 本研究では,深度推定器の訓練のための「LiDARについて探す」手法を提案する。 提案手法の有効性を検証するため,KITTI,CityScapes,Make3Dデータセットについて実験を行った。
• 参考スコア（独自算出の注目度）: 43.12433168745383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised depth estimators have recently shown results comparable to the supervised methods on the challenging single image depth estimation (SIDE) task, by exploiting the geometrical relations between target and reference views in the training data. However, previous methods usually learn forward or backward image synthesis, but not depth estimation, as they cannot effectively neglect occlusions between the target and the reference images. Previous works rely on rigid photometric assumptions or the SIDE network to infer depth and occlusions, resulting in limited performance. On the other hand, we propose a method to "Forget About the LiDAR" (FAL), for the training of depth estimators, with Mirrored Exponential Disparity (MED) probability volumes, from which we obtain geometrically inspired occlusion maps with our novel Mirrored Occlusion Module (MOM). Our MOM does not impose a burden on our FAL-net. Contrary to the previous methods that learn SIDE from stereo pairs by regressing disparity in the linear space, our FAL-net regresses disparity by binning it into the exponential space, which allows for better detection of distant and nearby objects. We define a two-step training strategy for our FAL-net: It is first trained for view synthesis and then fine-tuned for depth estimation with our MOM. Our FAL-net is remarkably light-weight and outperforms the previous state-of-the-art methods with 8x fewer parameters and 3x faster inference speeds on the challenging KITTI dataset. We present extensive experimental results on the KITTI, CityScapes, and Make3D datasets to verify our method's effectiveness. To the authors' best knowledge, the presented method performs the best among all the previous self-supervised methods until now.
• Abstract（参考訳）: 自己教師付き深度推定器は,訓練データにおける対象と参照ビューの幾何学的関係を活用し,挑戦的単一画像深度推定 (side) タスクにおける教師付き手法に匹敵する結果を示している。 しかし,従来手法では対象画像と基準画像との閉塞を効果的に無視できないため,前方画像や後方画像の合成を学習するが,深度推定は行わない。 これまでの研究は、厳密な測光仮定やSIDEネットワークに頼って深度と閉塞を推測し、性能が制限された。 一方,本論文では,深度推定器の学習のための"fal" (forget about the lidar, for the training of depth estimators, with mirrored exponential disparity (med) probability volume) を提案し,それをもとに新しいミラード・オクルージョン・モジュール (mom) を用いた幾何学的インスパイアされたオクルージョン・マップを得る。 当社のMOMは当社のFAL-netに負担をかけません。 線形空間の差を後退させることでステレオペアから側方を学ぶ従来の方法とは対照的に、fal-netは指数空間に重ねることで差を後退させ、遠距離と近距離の物体をよりよく検出する。 FAL-netの2段階のトレーニング戦略を定義し、まずビュー合成を訓練し、それからMOMで深度推定を微調整する。 我々のFAL-netは驚くほど軽量であり、挑戦的なKITTIデータセット上で8倍のパラメータと3倍高速な推論速度で従来の最先端手法よりも優れています。 提案手法の有効性を検証するため,KITTI,CityScapes,Make3Dデータセットについて実験を行った。 著者の知る限りでは,提案手法はこれまでのすべての自己教師あり手法の中で最良である。

関連論文リスト

• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• Depth-discriminative Metric Learning for Monocular 3D Object Detection [14.554132525651868]
  本稿では,視覚的属性に関係なく,モデルが深度識別的特徴を抽出することを奨励する新しい計量学習手法を提案する。 本手法は, 各種ベースラインの性能を平均23.51%, 5.78%向上させる。
  論文  参考訳（メタデータ） (2024-01-02T07:34:09Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR [22.202192422883122]
  本稿では,自己教師付き単分子深度学習を推進するための2段階ネットワークを提案する。 本モデルでは,単色画像特徴と疎LiDAR特徴を融合させて初期深度マップを推定する。 我々のモデルは、下流タスクのモノクロ3Dオブジェクト検出において、最先端のスパース-LiDAR法(Pseudo-LiDAR++)を68%以上向上させる。
  論文  参考訳（メタデータ） (2021-09-20T15:28:36Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)
• Occlusion-aware Unsupervised Learning of Depth from 4-D Light Fields [50.435129905215284]
  4次元光場処理と解析のための教師なし学習に基づく深度推定法を提案する。 光場データの特異な幾何学構造に関する基礎知識に基づいて,光場ビューのサブセット間の角度コヒーレンスを探索し,深度マップを推定する。 提案手法は,従来の手法と同等の精度で計算コストを低減した深度マップを作成できる。
  論文  参考訳（メタデータ） (2021-06-06T06:19:50Z)
• SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
  本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。 具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。 我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
  論文  参考訳（メタデータ） (2020-10-19T09:23:39Z)
• Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental Study [2.6205925938720833]
  最先端の手法では、深いニューラルネットワークを使用して、LiDARスキャンの各点のセマンティッククラスを予測する。 LiDAR測定を処理するための強力で効率的な方法は、2次元の画像のような投影を使うことである。 メモリの制約だけでなく、パフォーマンスの向上やランタイムの改善など、さまざまなテクニックを実証する。
  論文  参考訳（メタデータ） (2020-04-06T11:08:12Z)
• Towards Better Generalization: Joint Depth-Pose Learning without PoseNet [36.414471128890284]
  自己教師型共同深層学習におけるスケール不整合の本質的問題に対処する。 既存の手法の多くは、全ての入力サンプルで一貫した深さとポーズを学習できると仮定している。 本稿では,ネットワーク推定からスケールを明示的に切り離す新しいシステムを提案する。
  論文  参考訳（メタデータ） (2020-04-03T00:28:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。