論文の概要: Unsupervised Depth Completion with Calibrated Backprojection Layers

• arxiv url: http://arxiv.org/abs/2108.10531v1
• Date: Tue, 24 Aug 2021 05:41:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 14:29:46.449535
• Title: Unsupervised Depth Completion with Calibrated Backprojection Layers
• Title（参考訳）: キャリブレーションバックプロジェクション層を用いた教師なし奥行き完了
• Authors: Alex Wong and Stefano Soatto
• Abstract要約: 画像とスパース点雲から深度を推定するディープニューラルネットワークアーキテクチャを提案する。 LIDARや他のレンジセンサーから得られるビデオストリームとそれに対応するスパース点雲と、カメラの固有のキャリブレーションパラメータを用いてトレーニングする。 推論時に、トレーニングに用いるものと異なるカメラの校正を、スパース点雲と1つの画像とともにネットワークへの入力として行う。
• 参考スコア（独自算出の注目度）: 79.35651668390496
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a deep neural network architecture to infer dense depth from an image and a sparse point cloud. It is trained using a video stream and corresponding synchronized sparse point cloud, as obtained from a LIDAR or other range sensor, along with the intrinsic calibration parameters of the camera. At inference time, the calibration of the camera, which can be different than the one used for training, is fed as an input to the network along with the sparse point cloud and a single image. A Calibrated Backprojection Layer backprojects each pixel in the image to three-dimensional space using the calibration matrix and a depth feature descriptor. The resulting 3D positional encoding is concatenated with the image descriptor and the previous layer output to yield the input to the next layer of the encoder. A decoder, exploiting skip-connections, produces a dense depth map. The resulting Calibrated Backprojection Network, or KBNet, is trained without supervision by minimizing the photometric reprojection error. KBNet imputes missing depth value based on the training set, rather than on generic regularization. We test KBNet on public depth completion benchmarks, where it outperforms the state of the art by 30% indoor and 8% outdoor when the same camera is used for training and testing. When the test camera is different, the improvement reaches 62%. Code available at: https://github.com/alexklwong/calibrated-backprojection-network.
• Abstract（参考訳）: 本研究では,画像と疎点雲から深い深さを推定するディープニューラルネットワークアーキテクチャを提案する。 カメラの固有キャリブレーションパラメータとともに、lidarまたは他のレンジセンサから得られるビデオストリームと対応する同期スパースポイントクラウドを用いてトレーニングする。 推定時には、トレーニングに使用するカメラとは異なるカメラのキャリブレーションが、スパースポイントクラウドと1つの画像とともに、ネットワークへの入力として供給される。 キャリブレーションバックプロジェクション層は、キャリブレーションマトリックスと深度特徴記述子を用いて画像の各画素を3次元空間にバックプロジェクションする。 得られた3次元位置符号化は、画像記述子と前層出力とを連結してエンコーダの次の層に入力する。 デコーダはスキップ接続を利用して深度マップを生成する。 結果として得られる校正されたバックプロジェクションネットワーク(kbnet)は、測光再プロジェクションエラーを最小化することで、監視なしで訓練される。 kbnetは一般的な正規化ではなく、トレーニングセットに基づく深さ値の欠落を暗示する。 我々はKBNetを公開深度補完ベンチマークでテストし、同じカメラをトレーニングやテストに使用する場合、アートの状態を30%、屋外の8%で上回ります。 テストカメラが異なる場合、改善率は62%に達する。 https://github.com/alexklwong/calibrated-backprojection-network.com/。

関連論文リスト

• Time and Cost-Efficient Bathymetric Mapping System using Sparse Point Cloud Generation and Automatic Object Detection [0.0]
  サイドスキャンソナーセンサーは安価で、特に魚用ファインダーで利用できる。 サイドスキャンソナー画像から3D情報を抽出することは、信号対雑音比が低いため難しい課題である。 本稿では,サイドスキャンソナー画像からスパース3D点雲を生成する効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-19T02:58:08Z)
• DevNet: Self-supervised Monocular Depth Learning via Density Volume Construction [51.96971077984869]
  単眼画像からの自己教師付き深度学習は、通常、時間的に隣接する画像フレーム間の2Dピクセル単位の光度関係に依存する。 本研究は, 自己教師型単眼深度学習フレームワークであるDevNetを提案する。
  論文  参考訳（メタデータ） (2022-09-14T00:08:44Z)
• A Low Memory Footprint Quantized Neural Network for Depth Completion of Very Sparse Time-of-Flight Depth Maps [14.885472968649937]
  室内3次元知覚のためのToFデータセットのシミュレーションを行った。 本モデルでは,入力前処理と注意深く調整したトレーニングにより,最適深度マップの品質を実現する。 また、重み付けとアクティベーションのための低メモリフットプリントを、混合精度量子化-トレーニング技術により達成する。
  論文  参考訳（メタデータ） (2022-05-25T17:11:31Z)
• Graph-Based Depth Denoising & Dequantization for Point Cloud Enhancement [47.61748619439693]
  3Dポイントの雲は通常、センサーが1つ以上の視点で取得した深さの測定から構築される。 以前の作業では、不完全な深度データを3D空間に投影した後、点雲テクティタ後部をノイズ化する。 本研究では,3次元点雲の合成に先立って,検出画像のテクスタイタ事前に直接深度測定を施す。
  論文  参考訳（メタデータ） (2021-11-09T04:17:35Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)
• DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
  DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。 本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。 登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
  論文  参考訳（メタデータ） (2021-04-08T04:27:32Z)
• Towards Dense People Detection with Deep Learning and Depth images [9.376814409561726]
  本稿では,1つの深度画像から複数の人物を検出するDNNシステムを提案する。 我々のニューラルネットワークは深度画像を処理し、画像座標の確率マップを出力する。 我々は、この戦略が効果的であることを示し、トレーニング中に使用するものと異なるシーンで動作するように一般化したネットワークを創出する。
  論文  参考訳（メタデータ） (2020-07-14T16:43:02Z)
• ODE-CNN: Omnidirectional Depth Extension Networks [43.40308168978984]
  本研究では,全方位カメラとキャリブレーションされた投影深度カメラを組み合わせた低コスト3Dセンシングシステムを提案する。 欠損した深度を正確に回復するために,一方向の深度拡張畳み込みニューラルネットワークを設計する。 ODE-CNNは、他の最先端(SoTA)手法よりもかなり優れている(相対的に33%の深度誤差の低減)。
  論文  参考訳（メタデータ） (2020-07-03T03:14:09Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。