論文の概要: All-day Depth Completion

• arxiv url: http://arxiv.org/abs/2405.17315v1
• Date: Mon, 27 May 2024 16:16:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 14:33:59.925674
• Title: All-day Depth Completion
• Title（参考訳）: All-day Depth Completion
• Authors: Vadim Ezhov, Hyoungseob Park, Zhaoyang Zhang, Rishi Upadhyay, Howard Zhang, Chethan Chinder Chandrappa, Achuta Kadambi, Yunhao Ba, Julie Dorsey, Alex Wong,
• Abstract要約: そこで本稿では,照明条件の異なる日夜の深度推定手法を提案する。 我々は、カメラ画像とともに、画像平面上に投影された追加の同期スパース点雲をスパース深度マップとして入力する。 SpaDeはプラグイン・アンド・プレイ方式で使用することができ、既存のメソッドでスパースディープを前処理するときに25%改善できる。
• 参考スコア（独自算出の注目度）: 20.98941382541901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for depth estimation under different illumination conditions, i.e., day and night time. As photometry is uninformative in regions under low-illumination, we tackle the problem through a multi-sensor fusion approach, where we take as input an additional synchronized sparse point cloud (i.e., from a LiDAR) projected onto the image plane as a sparse depth map, along with a camera image. The crux of our method lies in the use of the abundantly available synthetic data to first approximate the 3D scene structure by learning a mapping from sparse to (coarse) dense depth maps along with their predictive uncertainty - we term this, SpaDe. In poorly illuminated regions where photometric intensities do not afford the inference of local shape, the coarse approximation of scene depth serves as a prior; the uncertainty map is then used with the image to guide refinement through an uncertainty-driven residual learning (URL) scheme. The resulting depth completion network leverages complementary strengths from both modalities - depth is sparse but insensitive to illumination and in metric scale, and image is dense but sensitive with scale ambiguity. SpaDe can be used in a plug-and-play fashion, which allows for 25% improvement when augmented onto existing methods to preprocess sparse depth. We demonstrate URL on the nuScenes dataset where we improve over all baselines by an average 11.65% in all-day scenarios, 11.23% when tested specifically for daytime, and 13.12% for nighttime scenes.
• Abstract（参考訳）: そこで本稿では,照明条件の異なる日夜の深度推定手法を提案する。 光度測定は低照度領域では非形式的であるため、マルチセンサフュージョンアプローチによりこの問題に対処し、カメラ画像とともに画像平面上に投影された追加の同期スパース点雲(LiDARから)を画像上に投影する。 提案手法の要点は,スパースから(粗い)深度マップへのマッピングと予測の不確かさを学習することにより,多量の合成データを用いて3次元シーン構造を近似することにある。 光度強度が局所的な形状を推定できない低照度領域では、シーン深さの粗い近似が先行として機能し、不確実性マップを画像とともに使用して、不確実性駆動残差学習(URL)方式で洗練を導出する。 その結果得られた深度完全ネットワークは、両モードの相補的な強度を利用する。深さはスパースだが、照明やメートル法には敏感であり、画像は密度が高いが、スケールのあいまいさには敏感である。 SpaDeはプラグイン・アンド・プレイ方式で使用することができ、既存のメソッドでスパースディープを前処理するときに25%改善できる。 私たちはnuScenesデータセットのURLをデモし、すべてのベースラインを平均11.65%改善し、昼間に特別にテストされた場合の11.23%、夜間のシーンでは13.12%としています。

関連論文リスト

• Temporal Lidar Depth Completion [0.08192907805418582]
  PENetは, 再発の恩恵を受けるために, 最新の手法であるPENetをどう修正するかを示す。 提案アルゴリズムは,KITTI深度補完データセットの最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-06-17T08:25:31Z)
• Understanding Depth Map Progressively: Adaptive Distance Interval Separation for Monocular 3d Object Detection [38.96129204108353]
  いくつかの単分子3D検出技術は、深度推定タスクからの補助深度マップに依存している。 本稿では,深度マップの新たな視点を取り入れたAdaptive Distance Interval Separation Network (ADISN) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-19T13:32:53Z)
• Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
  2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。 我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
  論文  参考訳（メタデータ） (2022-12-22T18:54:34Z)
• When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation [47.617222712429026]
  既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
  論文  参考訳（メタデータ） (2022-06-28T09:29:55Z)
• Gated2Gated: Self-Supervised Depth Estimation from Gated Images [22.415893281441928]
  ゲーテッドカメラは、高解像度の3D深度でLiDARセンサーをスキャンする代替品として有望だ。 そこで本研究では,ゲート強度プロファイルと時間的一貫性をトレーニング信号として用いた完全自己教師型深度推定手法を提案する。
  論文  参考訳（メタデータ） (2021-12-04T19:47:38Z)
• A Real-Time Online Learning Framework for Joint 3D Reconstruction and Semantic Segmentation of Indoor Scenes [87.74952229507096]
  本稿では,屋内シーンの3次元構造とセマンティックラベルを協調的に復元するリアルタイムオンライン視覚フレームワークを提案する。 列車時、ノイズの多い深度マップ、カメラ軌跡、および2Dセマンティックラベルを与えられたニューラルネットワークは、シーン空間に適切なセマンティックラベルでフレームの奥行きを融合させることを学習する。
  論文  参考訳（メタデータ） (2021-08-11T14:29:01Z)
• Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
  まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。 そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
  論文  参考訳（メタデータ） (2020-12-17T02:35:13Z)
• Fast and Accurate Optical Flow based Depth Map Estimation from Light Fields [22.116100469958436]
  既存の光フロー推定法に基づく光場からの深度推定法を提案する。 異なる不均一写像が得られたと推定すると、非常に一貫したものであり、高速で単純な集合のステップで単一の不均一写像を作成できる。 等間隔写像推定は一貫性があるため、各等間隔写像から深度写像を作成し、3次元空間内の異なる深度写像を集約して1つの濃度深度写像を作成することもできる。
  論文  参考訳（メタデータ） (2020-08-11T12:53:31Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)
• Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
  近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。 この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。 我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
  論文  参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。