論文の概要: Depth Completion via Inductive Fusion of Planar LIDAR and Monocular Camera

• arxiv url: http://arxiv.org/abs/2009.01875v1
• Date: Thu, 3 Sep 2020 18:39:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 08:17:49.762004
• Title: Depth Completion via Inductive Fusion of Planar LIDAR and Monocular Camera
• Title（参考訳）: 平面LIDARと単眼カメラの誘導核融合による深度補正
• Authors: Chen Fu, Chiyu Dong, Christoph Mertz and John M. Dolan
• Abstract要約: 我々は、確率モデルにインスパイアされた異なるセンサのモーダル性をよりよく融合させるインダクティブ遅延融合ブロックを導入する。 このブロックは、疎深度特徴による実演に基づく深度予測を誘導するために、密集したコンテキスト特徴を使用する。 提案手法は,ベンチマークデータセットとシミュレーションデータセットの両方に対する従来のアプローチと比較して有望な結果を示す。
• 参考スコア（独自算出の注目度）: 27.978780155504467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern high-definition LIDAR is expensive for commercial autonomous driving vehicles and small indoor robots. An affordable solution to this problem is fusion of planar LIDAR with RGB images to provide a similar level of perception capability. Even though state-of-the-art methods provide approaches to predict depth information from limited sensor input, they are usually a simple concatenation of sparse LIDAR features and dense RGB features through an end-to-end fusion architecture. In this paper, we introduce an inductive late-fusion block which better fuses different sensor modalities inspired by a probability model. The proposed demonstration and aggregation network propagates the mixed context and depth features to the prediction network and serves as a prior knowledge of the depth completion. This late-fusion block uses the dense context features to guide the depth prediction based on demonstrations by sparse depth features. In addition to evaluating the proposed method on benchmark depth completion datasets including NYUDepthV2 and KITTI, we also test the proposed method on a simulated planar LIDAR dataset. Our method shows promising results compared to previous approaches on both the benchmark datasets and simulated dataset with various 3D densities.
• Abstract（参考訳）: 現代の高精細化 LIDAR は商用の自動運転車や小型屋内ロボットに高価である。 この問題に対する安価な解決策は、同様のレベルの知覚能力を提供するために、平面LIDARとRGB画像の融合である。 最先端の手法は、限られたセンサー入力から深度情報を予測するためのアプローチを提供するが、それらは通常、エンドツーエンドの融合アーキテクチャを通して、スパースLIDAR特徴と密度の高いRGB特徴の単純な結合である。 本稿では,確率モデルにインスパイアされたセンサの様々な特性をよりよく融合させるインダクティブ・レイトフュージョン・ブロックを提案する。 提案した実証・集約ネットワークは,混合コンテキストと深度の特徴を予測ネットワークに伝達し,深度完了の事前知識として機能する。 この遅延融合ブロックは、密集したコンテキスト特徴を用いて、スパース深度特徴によるデモに基づく深度予測を導く。 提案手法は,NYUDepthV2やKITTIを含むベンチマーク深度補完データセットの評価に加えて,シミュレーションされた平面LIDARデータセット上でも検証を行う。 本手法は,従来のベンチマークデータセットと3次元密度のシミュレーションデータセットと比較して有望な結果を示す。

関連論文リスト

• Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
  様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。 まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。 大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-05T17:55:33Z)
• Metrically Scaled Monocular Depth Estimation through Sparse Priors for Underwater Robots [0.0]
  三角特徴量からのスパース深度測定を融合して深度予測を改善する深度学習モデルを定式化する。 このネットワークは、前方に見える水中データセットFLSeaで教師ありの方法で訓練されている。 この方法は、ラップトップGPUで160FPS、単一のCPUコアで7FPSで実行することで、リアルタイムのパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-25T16:32:31Z)
• Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
  既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。 本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。 提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
  論文  参考訳（メタデータ） (2023-07-28T04:36:07Z)
• Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
  我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。 異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。 提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-15T10:02:46Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection [86.25022248968908]
  モノラル3Dオブジェクト検出の問題を解決するために、コンテキストと奥行きを認識する特徴表現を学びます。 KITTIベンチマークデータセットにおける単眼的アプローチにおける最新の結果を示す。
  論文  参考訳（メタデータ） (2021-03-30T16:20:24Z)
• Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
  クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。 多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。 本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T08:50:10Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• MSDPN: Monocular Depth Prediction with Partial Laser Observation using Multi-stage Neural Networks [1.1602089225841632]
  深層学習に基づくマルチステージネットワークアーキテクチャであるMulti-Stage Depth Prediction Network (MSDPN)を提案する。 MSDPNは2次元LiDARと単眼カメラを用いて深度マップを予測する。 実験により,本ネットワークは最先端手法に対して有望な性能を示す。
  論文  参考訳（メタデータ） (2020-08-04T08:27:40Z)
• A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection [89.88222217065858]
  我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。 このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
  論文  参考訳（メタデータ） (2020-07-14T04:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。