論文の概要: Gated2Gated: Self-Supervised Depth Estimation from Gated Images
- arxiv url: http://arxiv.org/abs/2112.02416v1
- Date: Sat, 4 Dec 2021 19:47:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 16:37:14.489168
- Title: Gated2Gated: Self-Supervised Depth Estimation from Gated Images
- Title(参考訳): Gated2Gated:Gated画像からの自己監督深度推定
- Authors: Amanpreet Walia, Stefanie Walz, Mario Bijelic, Fahim Mannan, Frank
Julca-Aguilar, Michael Langer, Werner Ritter, Felix Heide
- Abstract要約: ゲーテッドカメラは、高解像度の3D深度でLiDARセンサーをスキャンする代替品として有望だ。
そこで本研究では,ゲート強度プロファイルと時間的一貫性をトレーニング信号として用いた完全自己教師型深度推定手法を提案する。
- 参考スコア(独自算出の注目度): 22.415893281441928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gated cameras hold promise as an alternative to scanning LiDAR sensors with
high-resolution 3D depth that is robust to back-scatter in fog, snow, and rain.
Instead of sequentially scanning a scene and directly recording depth via the
photon time-of-flight, as in pulsed LiDAR sensors, gated imagers encode depth
in the relative intensity of a handful of gated slices, captured at megapixel
resolution. Although existing methods have shown that it is possible to decode
high-resolution depth from such measurements, these methods require
synchronized and calibrated LiDAR to supervise the gated depth decoder --
prohibiting fast adoption across geographies, training on large unpaired
datasets, and exploring alternative applications outside of automotive use
cases. In this work, we fill this gap and propose an entirely self-supervised
depth estimation method that uses gated intensity profiles and temporal
consistency as a training signal. The proposed model is trained end-to-end from
gated video sequences, does not require LiDAR or RGB data, and learns to
estimate absolute depth values. We take gated slices as input and disentangle
the estimation of the scene albedo, depth, and ambient light, which are then
used to learn to reconstruct the input slices through a cyclic loss. We rely on
temporal consistency between a given frame and neighboring gated slices to
estimate depth in regions with shadows and reflections. We experimentally
validate that the proposed approach outperforms existing supervised and
self-supervised depth estimation methods based on monocular RGB and stereo
images, as well as supervised methods based on gated images.
- Abstract(参考訳): ゲーテッドカメラは、霧や雪、雨の後方散乱に頑丈な高解像度の3D深度でLiDARセンサーをスキャンする代替手段として期待されている。
パルスLiDARセンサーのように、シーンをシーケンシャルにスキャンし、光子の時間を通して深度を直接記録する代わりに、ゲート画像は、メガピクセルの解像度でキャプチャされた少数のゲートスライスの相対強度をエンコードする。
既存の手法では、これらの測定値から高解像度の深さをデコードできることが示されているが、これらの手法では、ゲート付き深さデコーダを監督するためにlidarの同期とキャリブレーションが必要となる。
本研究では,このギャップを埋め,ゲート強度プロファイルと時間的一貫性をトレーニング信号として利用する完全自己教師付き深度推定法を提案する。
提案されたモデルは、ゲートされたビデオシーケンスからエンドツーエンドに訓練され、lidarやrgbのデータを必要としない。
我々はゲートスライスを入力とし、シーンアルベド、深さ、周囲光の推定をアンタングルし、循環的損失によって入力スライスを再構築する学習に使用する。
影や反射のある領域の深さを推定するために、与えられたフレームと隣接するゲートスライスの間の時間的一貫性に依存する。
提案手法は,モノクロRGBおよびステレオ画像に基づいて,既存の教師付きおよび自己教師付き深度推定法,およびゲート画像に基づく教師付き手法より優れていることを示す。
関連論文リスト
- Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳(メタデータ) (2022-12-22T18:54:34Z) - Boosting Monocular 3D Object Detection with Object-Centric Auxiliary
Depth Supervision [13.593246617391266]
本稿では,RGB画像に基づく3D検出器を,深度推定タスクに類似した深度予測損失で共同でトレーニングすることにより,RGB画像に基づく3D検出器の強化手法を提案する。
新たな物体中心深度予測損失は,3次元物体検出において重要な前景物体周辺の深度に焦点をあてる。
我々の深度回帰モデルは、物体の3次元信頼度を表すために、深度の不確かさを予測するためにさらに訓練される。
論文 参考訳(メタデータ) (2022-10-29T11:32:28Z) - Non-learning Stereo-aided Depth Completion under Mis-projection via
Selective Stereo Matching [0.5067618621449753]
一対のステレオ画像で導かれる光検出・測度センサ(LiDAR)を用いて捉えたスパース深度マップの非学習深度補完法を提案する。
提案手法は, 平均絶対誤差(MAE)を0.65倍に減らし, 従来よりも約2倍の精度で推定できることを示した。
論文 参考訳(メタデータ) (2022-10-04T07:46:56Z) - DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。
DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。
実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
論文 参考訳(メタデータ) (2022-09-27T13:11:37Z) - Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。
我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。
従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
論文 参考訳(メタデータ) (2022-08-26T13:04:01Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳(メタデータ) (2022-03-09T17:20:18Z) - Event Guided Depth Sensing [50.997474285910734]
バイオインスパイアされたイベントカメラ駆動深度推定アルゴリズムを提案する。
提案手法では,イベントカメラが検出したシーン活動に応じて,関心領域を高密度に照明する。
シミュレーションされた自律運転シーケンスと実際の屋内環境におけるアプローチの実現可能性を示す。
論文 参考訳(メタデータ) (2021-10-20T11:41:11Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳(メタデータ) (2021-02-21T05:24:18Z) - Multi-Modal Depth Estimation Using Convolutional Neural Networks [0.8701566919381223]
本論文では, 厳しい気象条件下での遠距離センサデータと単一カメラ画像からの深度予測について考察する。
ディープラーニングアプローチを適用して深度を推定するカメラ、レーダー、ライダーなど、さまざまなセンサーモダリティの重要性を探ります。
論文 参考訳(メタデータ) (2020-12-17T15:31:49Z) - Robust Consistent Video Depth Estimation [65.53308117778361]
本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。
本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。
従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
論文 参考訳(メタデータ) (2020-12-10T18:59:48Z) - Self-Attention Dense Depth Estimation Network for Unrectified Video
Sequences [6.821598757786515]
LiDARとレーダーセンサーはリアルタイム深度推定のためのハードウェアソリューションである。
深層学習に基づく自己教師付き深度推定法は有望な結果を示した。
未修正画像に対する自己注意に基づく深度・自我移動ネットワークを提案する。
論文 参考訳(メタデータ) (2020-05-28T21:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。