論文の概要: Gated2Gated: Self-Supervised Depth Estimation from Gated Images
- arxiv url: http://arxiv.org/abs/2112.02416v1
- Date: Sat, 4 Dec 2021 19:47:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 16:37:14.489168
- Title: Gated2Gated: Self-Supervised Depth Estimation from Gated Images
- Title（参考訳）: Gated2Gated:Gated画像からの自己監督深度推定
- Authors: Amanpreet Walia, Stefanie Walz, Mario Bijelic, Fahim Mannan, Frank
Julca-Aguilar, Michael Langer, Werner Ritter, Felix Heide
- Abstract要約: ゲーテッドカメラは、高解像度の3D深度でLiDARセンサーをスキャンする代替品として有望だ。
そこで本研究では,ゲート強度プロファイルと時間的一貫性をトレーニング信号として用いた完全自己教師型深度推定手法を提案する。
- 参考スコア（独自算出の注目度）: 22.415893281441928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gated cameras hold promise as an alternative to scanning LiDAR sensors with
high-resolution 3D depth that is robust to back-scatter in fog, snow, and rain.
Instead of sequentially scanning a scene and directly recording depth via the
photon time-of-flight, as in pulsed LiDAR sensors, gated imagers encode depth
in the relative intensity of a handful of gated slices, captured at megapixel
resolution. Although existing methods have shown that it is possible to decode
high-resolution depth from such measurements, these methods require
synchronized and calibrated LiDAR to supervise the gated depth decoder --
prohibiting fast adoption across geographies, training on large unpaired
datasets, and exploring alternative applications outside of automotive use
cases. In this work, we fill this gap and propose an entirely self-supervised
depth estimation method that uses gated intensity profiles and temporal
consistency as a training signal. The proposed model is trained end-to-end from
gated video sequences, does not require LiDAR or RGB data, and learns to
estimate absolute depth values. We take gated slices as input and disentangle
the estimation of the scene albedo, depth, and ambient light, which are then
used to learn to reconstruct the input slices through a cyclic loss. We rely on
temporal consistency between a given frame and neighboring gated slices to
estimate depth in regions with shadows and reflections. We experimentally
validate that the proposed approach outperforms existing supervised and
self-supervised depth estimation methods based on monocular RGB and stereo
images, as well as supervised methods based on gated images.
- Abstract（参考訳）: ゲーテッドカメラは、霧や雪、雨の後方散乱に頑丈な高解像度の3D深度でLiDARセンサーをスキャンする代替手段として期待されている。
パルスLiDARセンサーのように、シーンをシーケンシャルにスキャンし、光子の時間を通して深度を直接記録する代わりに、ゲート画像は、メガピクセルの解像度でキャプチャされた少数のゲートスライスの相対強度をエンコードする。
既存の手法では、これらの測定値から高解像度の深さをデコードできることが示されているが、これらの手法では、ゲート付き深さデコーダを監督するためにlidarの同期とキャリブレーションが必要となる。
本研究では,このギャップを埋め,ゲート強度プロファイルと時間的一貫性をトレーニング信号として利用する完全自己教師付き深度推定法を提案する。
提案されたモデルは、ゲートされたビデオシーケンスからエンドツーエンドに訓練され、lidarやrgbのデータを必要としない。
我々はゲートスライスを入力とし、シーンアルベド、深さ、周囲光の推定をアンタングルし、循環的損失によって入力スライスを再構築する学習に使用する。
影や反射のある領域の深さを推定するために、与えられたフレームと隣接するゲートスライスの間の時間的一貫性に依存する。
提案手法は,モノクロRGBおよびステレオ画像に基づいて,既存の教師付きおよび自己教師付き深度推定法,およびゲート画像に基づく教師付き手法より優れていることを示す。
関連論文リスト
- Depth-Guided Semi-Supervised Instance Segmentation [62.80063539262021]
Semi-Supervised Instance (SSIS)は、トレーニング中にラベルなしデータの量を活用することを目的としている。
従来のフレームワークは主に、ラベルなし画像のRGB情報を利用して擬似ラベルを生成する。
この制限を克服するために、Depth-Guided (DG)フレームワークを導入します。
論文 参考訳（メタデータ） (2024-06-25T09:36:50Z) - SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors [42.48726526726542]
SelfReDepthは、深度復元のための自己教師型ディープラーニング技術である。
複数のシーケンシャルな深度フレームとカラーデータを使用して、時間的コヒーレンスで高品質な深度ビデオを実現する。
我々の結果は、実世界のデータセット上での我々のアプローチのリアルタイムパフォーマンスを実証する。
論文 参考訳（メタデータ） (2024-06-05T15:38:02Z) - Cross-spectral Gated-RGB Stereo Depth Estimation [34.31592077757453]
ゲート付きカメラがシーンを照らし、シーンのタイムゲートのインパルスを捉えます。
本稿では,これらのマルチモーダルな多視点深度キューを活用可能な新しいステレオ深度推定法を提案する。
提案手法は, 蓄積したLiDAR地盤の100～220mの範囲において, 次の最良既存手法よりも39%高い精度で高精度な深度を実現する。
論文 参考訳（メタデータ） (2024-05-21T13:10:43Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳（メタデータ） (2022-12-22T18:54:34Z) - Non-learning Stereo-aided Depth Completion under Mis-projection via
Selective Stereo Matching [0.5067618621449753]
一対のステレオ画像で導かれる光検出・測度センサ(LiDAR)を用いて捉えたスパース深度マップの非学習深度補完法を提案する。
提案手法は, 平均絶対誤差(MAE)を0.65倍に減らし, 従来よりも約2倍の精度で推定できることを示した。
論文 参考訳（メタデータ） (2022-10-04T07:46:56Z) - Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。
我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。
従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
論文 参考訳（メタデータ） (2022-08-26T13:04:01Z) - Event Guided Depth Sensing [50.997474285910734]
バイオインスパイアされたイベントカメラ駆動深度推定アルゴリズムを提案する。
提案手法では,イベントカメラが検出したシーン活動に応じて,関心領域を高密度に照明する。
シミュレーションされた自律運転シーケンスと実際の屋内環境におけるアプローチの実現可能性を示す。
論文 参考訳（メタデータ） (2021-10-20T11:41:11Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳（メタデータ） (2021-02-21T05:24:18Z) - Multi-Modal Depth Estimation Using Convolutional Neural Networks [0.8701566919381223]
本論文では, 厳しい気象条件下での遠距離センサデータと単一カメラ画像からの深度予測について考察する。
ディープラーニングアプローチを適用して深度を推定するカメラ、レーダー、ライダーなど、さまざまなセンサーモダリティの重要性を探ります。
論文 参考訳（メタデータ） (2020-12-17T15:31:49Z) - Self-Attention Dense Depth Estimation Network for Unrectified Video
Sequences [6.821598757786515]
LiDARとレーダーセンサーはリアルタイム深度推定のためのハードウェアソリューションである。
深層学習に基づく自己教師付き深度推定法は有望な結果を示した。
未修正画像に対する自己注意に基づく深度・自我移動ネットワークを提案する。
論文 参考訳（メタデータ） (2020-05-28T21:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。