論文の概要: Adaptive Fusion of Single-View and Multi-View Depth for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2403.07535v1
• Date: Tue, 12 Mar 2024 11:18:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 21:53:06.870458
• Title: Adaptive Fusion of Single-View and Multi-View Depth for Autonomous Driving
• Title（参考訳）: 自律運転のための単視点と多視点の適応融合
• Authors: JunDa Cheng, Wei Yin, Kaixuan Wang, Xiaozhi Chen, Shijie Wang, Xin Yang
• Abstract要約: 現在のマルチビュー深度推定法やシングルビューおよびマルチビュー融合法は、ノイズのあるポーズ設定で失敗する。 本稿では,高信頼度なマルチビューと単一ビューの結果を適応的に統合する単一ビュー・多ビュー融合深度推定システムを提案する。 本手法は,ロバストネス試験において,最先端のマルチビュー・フュージョン法より優れる。
• 参考スコア（独自算出の注目度）: 22.58849429006898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-view depth estimation has achieved impressive performance over various benchmarks. However, almost all current multi-view systems rely on given ideal camera poses, which are unavailable in many real-world scenarios, such as autonomous driving. In this work, we propose a new robustness benchmark to evaluate the depth estimation system under various noisy pose settings. Surprisingly, we find current multi-view depth estimation methods or single-view and multi-view fusion methods will fail when given noisy pose settings. To address this challenge, we propose a single-view and multi-view fused depth estimation system, which adaptively integrates high-confident multi-view and single-view results for both robust and accurate depth estimations. The adaptive fusion module performs fusion by dynamically selecting high-confidence regions between two branches based on a wrapping confidence map. Thus, the system tends to choose the more reliable branch when facing textureless scenes, inaccurate calibration, dynamic objects, and other degradation or challenging conditions. Our method outperforms state-of-the-art multi-view and fusion methods under robustness testing. Furthermore, we achieve state-of-the-art performance on challenging benchmarks (KITTI and DDAD) when given accurate pose estimations. Project website: https://github.com/Junda24/AFNet/.
• Abstract（参考訳）: マルチビュー深度推定は様々なベンチマークで顕著な性能を達成した。 しかし、現在のほとんどのマルチビューシステムは、自律運転のような多くの現実のシナリオでは利用できない理想的なカメラのポーズに依存している。 本研究では,様々な雑音のポーズ設定下での深度推定システムを評価するために,新しいロバストネスベンチマークを提案する。 驚いたことに、現在のマルチビュー深度推定法やシングルビュー、マルチビュー融合法はノイズのあるポーズ設定で失敗する。 そこで本研究では,高信頼のマルチビューとシングルビューを適応的に統合し,ロバストかつ高精度な奥行き推定を行うシングルビューとマルチビューの融合奥行き推定システムを提案する。 適応融合モジュールは、ラップする信頼マップに基づいて、2つのブランチ間の高信頼領域を動的に選択して融合を行う。 したがって、テクスチャのないシーン、不正確なキャリブレーション、動的オブジェクト、その他の劣化や課題条件に対して、より信頼性の高いブランチを選択する傾向がある。 本手法は,ロバストネス試験において,最先端のマルチビューおよび融合法より優れる。 さらに,正確なポーズ推定を行うと,挑戦的ベンチマーク(KITTI,DDAD)の最先端性能を実現する。 プロジェクトウェブサイト:https://github.com/Junda24/AFNet/

関連論文リスト

• A Global Depth-Range-Free Multi-View Stereo Transformer Network with Pose Embedding [76.44979557843367]
  本稿では,事前の深度範囲を排除した新しい多視点ステレオ(MVS)フレームワークを提案する。 長距離コンテキスト情報を集約するMDA(Multi-view Disparity Attention)モジュールを導入する。 ソース画像のエピポーラ線上のサンプリング点に対応する電流画素の品質を明示的に推定する。
  論文  参考訳（メタデータ） (2024-11-04T08:50:16Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• Multi-Frame Self-Supervised Depth Estimation with Multi-Scale Feature Fusion in Dynamic Scenes [25.712707161201802]
  マルチフレーム手法は単一フレームアプローチによる単眼深度推定を改善する。 最近の手法では、特徴マッチングと動的シーンのための複雑なアーキテクチャを提案する傾向がある。 単純な学習フレームワークと設計された機能拡張が、優れたパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-03-26T05:26:30Z)
• Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation [75.99435808648784]
  本稿では,新しいマルチカメラ協調深度予測法を提案する。 カメラ間の構造的整合性を維持しながら、大きな重なり合う領域を必要としない。 DDADおよびNuScenesデータセットの実験結果から,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-05T03:44:34Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• Multi-Camera Sensor Fusion for Visual Odometry using Deep Uncertainty Estimation [34.8860186009308]
  複数の車載カメラからの姿勢推定と不確実性推定の両方を用いて車両の動きを推定する深層センサ融合フレームワークを提案する。 我々は、利用可能な大規模自動運転車データセットnuScenesに対する我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2021-12-23T19:44:45Z)
• Multi-View Depth Estimation by Fusing Single-View Depth Probability with Multi-View Geometry [25.003116148843525]
  多視点幾何を用いて一視点深度確率を融合するフレームワークであるMaGNetを提案する。 MaGNet は ScanNet, 7-Scenes, KITTI で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-12-15T14:56:53Z)
• Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
  既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。 平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
  論文  参考訳（メタデータ） (2021-04-06T03:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。