論文の概要: Learning to Estimate Two Dense Depths from LiDAR and Event Data
- arxiv url: http://arxiv.org/abs/2302.14444v1
- Date: Tue, 28 Feb 2023 09:42:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 17:10:58.807449
- Title: Learning to Estimate Two Dense Depths from LiDAR and Event Data
- Title（参考訳）: LiDARとイベントデータから2つの深度を推定する学習
- Authors: Vincent Brebion, Julien Moreau, Franck Davoine
- Abstract要約: イベントカメラは画像を生成するのではなく、連続的なイベントの流れであり、各ピクセルの照明変更を独立して非同期にエンコードする。
LiDARは、この深度情報を提供することができるが、自然には非常に疎いため、深度と深度の関係はより複雑になる。
本稿では,イベントカメラとLiDARからの情報を学習に基づくアプローチで融合し,正確な深度マップを推定することで,これらの問題を解決することを提案する。
- 参考スコア（独自算出の注目度）: 2.513785998932353
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event cameras do not produce images, but rather a continuous flow of events,
which encode changes of illumination for each pixel independently and
asynchronously. While they output temporally rich information, they lack any
depth information which could facilitate their use with other sensors. LiDARs
can provide this depth information, but are by nature very sparse, which makes
the depth-to-event association more complex. Furthermore, as events represent
changes of illumination, they might also represent changes of depth;
associating them with a single depth is therefore inadequate. In this work, we
propose to address these issues by fusing information from an event camera and
a LiDAR using a learning-based approach to estimate accurate dense depth maps.
To solve the "potential change of depth" problem, we propose here to estimate
two depth maps at each step: one "before" the events happen, and one "after"
the events happen. We further propose to use this pair of depths to compute a
depth difference for each event, to give them more context. We train and
evaluate our network, ALED, on both synthetic and real driving sequences, and
show that it is able to predict dense depths with an error reduction of up to
61% compared to the current state of the art. We also demonstrate the quality
of our 2-depths-to-event association, and the usefulness of the depth
difference information. Finally, we release SLED, a novel synthetic dataset
comprising events, LiDAR point clouds, RGB images, and dense depth maps.
- Abstract（参考訳）: イベントカメラは画像を生成するのではなく、各ピクセルの照明の変化を独立かつ非同期にエンコードする連続的なイベントの流れを生成する。
時間的に豊富な情報を出力するが、他のセンサーでの使用を容易にする深度情報がない。
LiDARは、この深度情報を提供することができるが、自然には非常に疎いため、深度と深度の関係はより複雑になる。
さらに、事象は照明の変化を表すため、深度の変化を表すこともあるが、それらと1つの深度を関連付けることは不十分である。
そこで本研究では,イベントカメラとlidarからの情報を融合して,精度の高い深層マップを推定する学習に基づく手法を提案する。
深度の潜在的な変化」問題を解決するため、各ステップで2つの深度マップを推定することを提案する。
さらに,各イベントの深さ差を計算するために,この2組の深さを用いて,さらに多くのコンテキストを与えるように提案する。
我々は、合成運転シーケンスと実運転シーケンスの両方で、我々のネットワークであるALEDをトレーニングし、評価し、アートの現在の状態と比較して最大61%の誤差で深度を予測することができることを示す。
また,2-deepths-to-eventアソシエーションの品質と,深度差情報の有用性も示す。
最後に、イベント、LiDAR点雲、RGB画像、深度マップを含む新しい合成データセットであるSLEDをリリースする。
関連論文リスト
- LED: Light Enhanced Depth Estimation at Night [10.941842055797125]
低照度環境における深度推定を大幅に改善する新しいコスト効率のアプローチであるLED(Light Enhanced Depth)を導入する。
LEDは、現代の車両で利用できる高解像度ヘッドライトによって投影されるパターンを利用する。
49,990の注釈付き画像からなるNighttime Synthetic Driveデータセットをリリースする。
論文 参考訳（メタデータ） (2024-09-12T13:23:24Z) - All-day Depth Completion [20.98941382541901]
そこで本稿では,照明条件の異なる日夜の深度推定手法を提案する。
我々は、カメラ画像とともに、画像平面上に投影された追加の同期スパース点雲をスパース深度マップとして入力する。
SpaDeはプラグイン・アンド・プレイ方式で使用することができ、既存のメソッドでスパースディープを前処理するときに25%改善できる。
論文 参考訳（メタデータ） (2024-05-27T16:16:53Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - FS-Depth: Focal-and-Scale Depth Estimation from a Single Image in Unseen
Indoor Scene [57.26600120397529]
実際の(見えない)屋内シーンの単一の画像から絶対深度マップを予測するのには、長年不適切な問題だった。
本研究では,未確認屋内シーンの単一画像から絶対深度マップを正確に学習するための焦点・スケール深度推定モデルを開発した。
論文 参考訳（メタデータ） (2023-07-27T04:49:36Z) - RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion [28.634851863097953]
本稿では,RDFC-GANという2分岐のエンドツーエンド核融合ネットワークを提案する。
RGBと不完全な深度画像のペアを入力として、密集した深度マップを予測する。
第1分枝は、マンハッタン世界の仮定に固執することにより、エンコーダ・デコーダ構造を用いる。
もう一方のブランチでは、RGBイメージを詳細なテクスチャ化された深度マップに変換するのに適したRGB深度融合CycleGANが適用されている。
論文 参考訳（メタデータ） (2023-06-06T11:03:05Z) - Consistent Depth Prediction under Various Illuminations using Dilated
Cross Attention [1.332560004325655]
我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。
異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。
提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
論文 参考訳（メタデータ） (2021-12-15T10:02:46Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳（メタデータ） (2021-03-30T21:22:26Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Defocus Blur Detection via Depth Distillation [64.78779830554731]
初めてDBDに深度情報を導入します。
より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。
我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
論文 参考訳（メタデータ） (2020-07-16T04:58:09Z) - Depth Map Estimation of Dynamic Scenes Using Prior Depth Information [14.03714478207425]
本稿では,並列に収集した画像から深度マップを推定するアルゴリズムと,動的シーンに対する予め測定した深度マップを提案する。
我々のゴールは、大きな計算コストを伴わずに、能動深度センサと計算との深度取得のバランスをとることである。
提案手法では, 標準ラップトップコンピュータ上で, 最大30FPSの高密度深度マップを, 類似の手法よりも桁違いに高速に取得できる。
論文 参考訳（メタデータ） (2020-02-02T01:04:27Z) - Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。
この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。
我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-01-14T20:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。