論文の概要: Multi-Modal Depth Estimation Using Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2012.09667v1
- Date: Thu, 17 Dec 2020 15:31:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 07:40:31.580233
- Title: Multi-Modal Depth Estimation Using Convolutional Neural Networks
- Title(参考訳): 畳み込みニューラルネットワークを用いたマルチモーダル深さ推定
- Authors: Sadique Adnan Siddiqui, Axel Vierling and Karsten Berns
- Abstract要約: 本論文では, 厳しい気象条件下での遠距離センサデータと単一カメラ画像からの深度予測について考察する。
ディープラーニングアプローチを適用して深度を推定するカメラ、レーダー、ライダーなど、さまざまなセンサーモダリティの重要性を探ります。
- 参考スコア(独自算出の注目度): 0.8701566919381223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of dense depth predictions from sparse
distance sensor data and a single camera image on challenging weather
conditions. This work explores the significance of different sensor modalities
such as camera, Radar, and Lidar for estimating depth by applying Deep Learning
approaches. Although Lidar has higher depth-sensing abilities than Radar and
has been integrated with camera images in lots of previous works, depth
estimation using CNN's on the fusion of robust Radar distance data and camera
images has not been explored much. In this work, a deep regression network is
proposed utilizing a transfer learning approach consisting of an encoder where
a high performing pre-trained model has been used to initialize it for
extracting dense features and a decoder for upsampling and predicting desired
depth. The results are demonstrated on Nuscenes, KITTI, and a Synthetic dataset
which was created using the CARLA simulator. Also, top-view zoom-camera images
captured from the crane on a construction site are evaluated to estimate the
distance of the crane boom carrying heavy loads from the ground to show the
usability in safety-critical applications.
- Abstract(参考訳): 本稿では,厳密な距離センサデータと単一カメラ画像から,厳密な奥行き予測の問題点について考察する。
本研究は,Deep Learning アプローチの適用による深度推定における,カメラ,レーダー,ライダーなどのセンサモードの重要性について検討する。
リダーはレーダよりも深度感知能力が高く、多くの過去の研究でカメラ画像と統合されているが、ロバストなレーダ距離データとカメラ画像の融合に基づくCNNの深度推定はあまり研究されていない。
本研究では,高密度特徴抽出のための初期化のために高パフォーマンス事前学習モデルを用いたエンコーダと,所望の深さをアップサンプリングし予測するデコーダとからなる,転置学習手法を用いて深層回帰ネットワークを提案する。
これらの結果は,CARLAシミュレータを用いて作成したNuscenes,KITTI,およびSyntheticデータセットで実証された。
また、建設現場でクレーンから撮影したトップビューのズームカメラ画像を評価し、地上からの重荷を積んだクレーンブームの距離を推定し、安全クリティカルな用途のユーザビリティを示す。
関連論文リスト
- SurroundDepth: Entangling Surrounding Views for Self-Supervised
Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。
具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。
実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-04-07T17:58:47Z) - Gated2Gated: Self-Supervised Depth Estimation from Gated Images [22.415893281441928]
ゲーテッドカメラは、高解像度の3D深度でLiDARセンサーをスキャンする代替品として有望だ。
そこで本研究では,ゲート強度プロファイルと時間的一貫性をトレーニング信号として用いた完全自己教師型深度推定手法を提案する。
論文 参考訳(メタデータ) (2021-12-04T19:47:38Z) - Deep-Learning-Based Single-Image Height Reconstruction from
Very-High-Resolution SAR Intensity Data [1.7894377200944511]
本稿では,リモートセンシングにおける他の重要なセンサモードである合成開口レーダ(SAR)データに対する,深層学習に基づく単一画像の高さ予測の初めての実演を示す。
SAR強度画像に対する畳み込みニューラルネットワーク(CNN)アーキテクチャの適用に加えて、トレーニングデータ生成のためのワークフローを提案する。
転送可能性に特に重点を置いているので、深層学習に基づく単一画像の高さ推定が可能であるだけでなく、目に見えないデータにかなりうまく転送可能であることを確認できます。
論文 参考訳(メタデータ) (2021-11-03T08:20:03Z) - RVMDE: Radar Validated Monocular Depth Estimation for Robotics [5.360594929347198]
両眼視センサの固有剛性校正は正確な深度推定に不可欠である。
あるいは、単眼カメラは、深度推定の精度を犠牲にして制限を緩和し、厳しい環境条件下では課題が悪化する。
本研究は, 環境条件下での深度推定のために, 単眼カメラの細粒度データと融合した場合のレーダーからの粗い信号の有用性について検討する。
論文 参考訳(メタデータ) (2021-09-11T12:02:29Z) - Towards Fast and Accurate Real-World Depth Super-Resolution: Benchmark
Dataset and Baseline [48.69396457721544]
深度写像スーパーリゾリューション(SR)の研究を促進するために,RGB-D-Dという大規模データセットを構築した。
本稿では、RGB画像から高周波成分を適応的に分解して深度マップSRを導出する高速深度マップ超解像(FDSR)ベースラインを提供する。
実世界のLR深度マップでは、より明確な境界を持つより正確なHR深度マップを作成でき、ある程度の精度で深度値誤差を補正できる。
論文 参考訳(メタデータ) (2021-04-13T13:27:26Z) - VR3Dense: Voxel Representation Learning for 3D Object Detection and
Monocular Dense Depth Reconstruction [0.951828574518325]
3次元物体検出と単眼深層再構成ニューラルネットワークを共同トレーニングする方法を紹介します。
推論中に入力、LiDARポイントクラウド、単一のRGBイメージとして取得し、オブジェクトポーズ予測と密に再構築された深度マップを生成します。
物体検出は教師付き方式で訓練されるが,自己教師型と教師型の両方の損失関数を用いて深度予測ネットワークを訓練する。
論文 参考訳(メタデータ) (2021-04-13T04:25:54Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳(メタデータ) (2021-03-30T21:22:26Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳(メタデータ) (2021-02-21T05:24:18Z) - CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [85.8787539999447]
本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。
初期深度予測の精度を高めるために,vio のそれまでの疎結合な特徴をネットワークに提供する。
ネットワークとコードにのみGPUアクセラレーションを利用しながら、シングルスレッド実行でリアルタイムに実行できることを示します。
論文 参考訳(メタデータ) (2020-12-18T09:42:54Z) - Robust Consistent Video Depth Estimation [65.53308117778361]
本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。
本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。
従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
論文 参考訳(メタデータ) (2020-12-10T18:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。