論文の概要: Multi-Modal Depth Estimation Using Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2012.09667v1
• Date: Thu, 17 Dec 2020 15:31:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 07:40:31.580233
• Title: Multi-Modal Depth Estimation Using Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークを用いたマルチモーダル深さ推定
• Authors: Sadique Adnan Siddiqui, Axel Vierling and Karsten Berns
• Abstract要約: 本論文では, 厳しい気象条件下での遠距離センサデータと単一カメラ画像からの深度予測について考察する。 ディープラーニングアプローチを適用して深度を推定するカメラ、レーダー、ライダーなど、さまざまなセンサーモダリティの重要性を探ります。
• 参考スコア（独自算出の注目度）: 0.8701566919381223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of dense depth predictions from sparse distance sensor data and a single camera image on challenging weather conditions. This work explores the significance of different sensor modalities such as camera, Radar, and Lidar for estimating depth by applying Deep Learning approaches. Although Lidar has higher depth-sensing abilities than Radar and has been integrated with camera images in lots of previous works, depth estimation using CNN's on the fusion of robust Radar distance data and camera images has not been explored much. In this work, a deep regression network is proposed utilizing a transfer learning approach consisting of an encoder where a high performing pre-trained model has been used to initialize it for extracting dense features and a decoder for upsampling and predicting desired depth. The results are demonstrated on Nuscenes, KITTI, and a Synthetic dataset which was created using the CARLA simulator. Also, top-view zoom-camera images captured from the crane on a construction site are evaluated to estimate the distance of the crane boom carrying heavy loads from the ground to show the usability in safety-critical applications.
• Abstract（参考訳）: 本稿では,厳密な距離センサデータと単一カメラ画像から,厳密な奥行き予測の問題点について考察する。 本研究は,Deep Learning アプローチの適用による深度推定における,カメラ,レーダー,ライダーなどのセンサモードの重要性について検討する。 リダーはレーダよりも深度感知能力が高く、多くの過去の研究でカメラ画像と統合されているが、ロバストなレーダ距離データとカメラ画像の融合に基づくCNNの深度推定はあまり研究されていない。 本研究では,高密度特徴抽出のための初期化のために高パフォーマンス事前学習モデルを用いたエンコーダと,所望の深さをアップサンプリングし予測するデコーダとからなる,転置学習手法を用いて深層回帰ネットワークを提案する。 これらの結果は,CARLAシミュレータを用いて作成したNuscenes,KITTI,およびSyntheticデータセットで実証された。 また、建設現場でクレーンから撮影したトップビューのズームカメラ画像を評価し、地上からの重荷を積んだクレーンブームの距離を推定し、安全クリティカルな用途のユーザビリティを示す。

関連論文リスト

• Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
  様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。 まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。 大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-05T17:55:33Z)
• RadarCam-Depth: Radar-Camera Fusion for Depth Estimation with Learned Metric Scale [21.09258172290667]
  本稿では, 単視点画像とスパース, ノイズの多いレーダー点雲の融合に基づく, 距離密度推定のための新しい手法を提案する。 提案手法は,難解なnuScenesデータセットと自己コンパイルしたZJU-4DRadarCamデータセットにおいて,平均絶対誤差(MAE)を25.6%,40.2%削減することにより,最先端のRadar-Camera深度推定法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-01-09T02:40:03Z)
• Self-Supervised Learning based Depth Estimation from Monocular Images [0.0]
  単色深度推定の目標は、入力として2次元単色RGB画像が与えられた深度マップを予測することである。 我々は、トレーニング中に固有のカメラパラメータを実行し、我々のモデルをさらに一般化するために天気増悪を適用することを計画している。
  論文  参考訳（メタデータ） (2023-04-14T07:14:08Z)
• Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation [75.99435808648784]
  本稿では,新しいマルチカメラ協調深度予測法を提案する。 カメラ間の構造的整合性を維持しながら、大きな重なり合う領域を必要としない。 DDADおよびNuScenesデータセットの実験結果から,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-05T03:44:34Z)
• Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
  スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。 我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。 従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
  論文  参考訳（メタデータ） (2022-08-26T13:04:01Z)
• Deep-Learning-Based Single-Image Height Reconstruction from Very-High-Resolution SAR Intensity Data [1.7894377200944511]
  本稿では,リモートセンシングにおける他の重要なセンサモードである合成開口レーダ(SAR)データに対する,深層学習に基づく単一画像の高さ予測の初めての実演を示す。 SAR強度画像に対する畳み込みニューラルネットワーク(CNN)アーキテクチャの適用に加えて、トレーニングデータ生成のためのワークフローを提案する。 転送可能性に特に重点を置いているので、深層学習に基づく単一画像の高さ推定が可能であるだけでなく、目に見えないデータにかなりうまく転送可能であることを確認できます。
  論文  参考訳（メタデータ） (2021-11-03T08:20:03Z)
• RVMDE: Radar Validated Monocular Depth Estimation for Robotics [5.360594929347198]
  両眼視センサの固有剛性校正は正確な深度推定に不可欠である。 あるいは、単眼カメラは、深度推定の精度を犠牲にして制限を緩和し、厳しい環境条件下では課題が悪化する。 本研究は, 環境条件下での深度推定のために, 単眼カメラの細粒度データと融合した場合のレーダーからの粗い信号の有用性について検討する。
  論文  参考訳（メタデータ） (2021-09-11T12:02:29Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Self-Attention Dense Depth Estimation Network for Unrectified Video Sequences [6.821598757786515]
  LiDARとレーダーセンサーはリアルタイム深度推定のためのハードウェアソリューションである。 深層学習に基づく自己教師付き深度推定法は有望な結果を示した。 未修正画像に対する自己注意に基づく深度・自我移動ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-28T21:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。