論文の概要: STEPS: Joint Self-supervised Nighttime Image Enhancement and Depth
Estimation
- arxiv url: http://arxiv.org/abs/2302.01334v1
- Date: Thu, 2 Feb 2023 18:59:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 12:41:58.382456
- Title: STEPS: Joint Self-supervised Nighttime Image Enhancement and Depth
Estimation
- Title(参考訳): STEPS: 自己監督型夜間画像強調と深度推定
- Authors: Yupeng Zheng, Chengliang Zhong, Pengfei Li, Huan-ang Gao, Yuhang
Zheng, Bu Jin, Ling Wang, Hao Zhao, Guyue Zhou, Qichao Zhang and Dongbin Zhao
- Abstract要約: 本研究では,夜間画像強調器と深度推定器を両課題に使用せずに共同で学習する手法を提案する。
提案手法は,新たに提案された不確実な画素マスキング戦略を用いて,2つの自己監督タスクを密に絡み合わせる。
提案手法をnuScenesとRobotCarの2つの確立したデータセットでベンチマークする。
- 参考スコア(独自算出の注目度): 12.392842482031558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised depth estimation draws a lot of attention recently as it can
promote the 3D sensing capabilities of self-driving vehicles. However, it
intrinsically relies upon the photometric consistency assumption, which hardly
holds during nighttime. Although various supervised nighttime image enhancement
methods have been proposed, their generalization performance in challenging
driving scenarios is not satisfactory. To this end, we propose the first method
that jointly learns a nighttime image enhancer and a depth estimator, without
using ground truth for either task. Our method tightly entangles two
self-supervised tasks using a newly proposed uncertain pixel masking strategy.
This strategy originates from the observation that nighttime images not only
suffer from underexposed regions but also from overexposed regions. By fitting
a bridge-shaped curve to the illumination map distribution, both regions are
suppressed and two tasks are bridged naturally. We benchmark the method on two
established datasets: nuScenes and RobotCar and demonstrate state-of-the-art
performance on both of them. Detailed ablations also reveal the mechanism of
our proposal. Last but not least, to mitigate the problem of sparse ground
truth of existing datasets, we provide a new photo-realistically enhanced
nighttime dataset based upon CARLA. It brings meaningful new challenges to the
community. Codes, data, and models are available at
https://github.com/ucaszyp/STEPS.
- Abstract(参考訳): 自動運転車の3Dセンシング能力を促進できるため、自己監督型深度推定は近年多くの注目を集めている。
しかし、本質的には、夜間にほとんど持たない測光一貫性の仮定に依存している。
様々な夜間画像強調手法が提案されているが,運転シナリオにおける一般化性能は満足できない。
そこで本研究では,夜間画像エンハンサーと深度推定器を共同で学習する最初の手法を提案する。
提案手法は,新たに提案する不確定な画素マスキング戦略を用いて,二つの自己教師付きタスクを密に絡み合う。
この戦略は、夜間の映像が露出度の低い地域だけでなく、露出度の高い地域も苦しむという観測から生まれた。
照明マップ分布に橋形曲線をフィッティングすることにより、両領域を抑圧し、2つのタスクを自然にブリッジする。
提案手法をnuScenesとRobotCarの2つの確立したデータセット上でベンチマークし,両者の最先端性能を示す。
詳細なアブレーションも提案のメカニズムを明らかにしている。
最後に,既存のデータセットの細かな基底真理の問題を緩和するために,CARLAに基づく新たな写真リアルに強化された夜間データセットを提供する。
コミュニティに意味のある新しい課題をもたらします。
コード、データ、モデルはhttps://github.com/ucaszyp/STEPSで入手できる。
関連論文リスト
- Improving Panoptic Segmentation for Nighttime or Low-Illumination Urban
Driving Scenes [0.0]
そこで本研究では,Panopticセグメンテーションの性能とロバスト性を改善するための2つの新しい手法を提案する。
悪い結果の要因の1つは、都会の運転シーンに十分な、正確にアノテートされた夜間画像がないことである。
提案手法はCycleGANを用いて,既存の汎視的アノテーションを用いた昼間画像から夜間画像への変換を行う。
その後、照明条件や夜間条件下での性能と堅牢性を向上させるために、パノプティカルセグメンテーションモデルを再訓練するために使用される。
論文 参考訳(メタデータ) (2023-06-23T18:14:26Z) - Unleash the Potential of Image Branch for Cross-modal 3D Object
Detection [67.94357336206136]
画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。
まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。
第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
論文 参考訳(メタデータ) (2023-01-22T08:26:58Z) - LiCamGait: Gait Recognition in the Wild by Using LiDAR and Camera
Multi-modal Visual Sensors [49.66924720835016]
我々は、LiDARを利用して、より堅牢で正確な歩行認識のために、ビュー依存カメラと光感受性カメラの制限を緩和する最初の試みを行っている。
効率的なマルチモーダル特徴融合戦略を用いたLiDARカメラを用いた歩行認識手法を提案する。
論文 参考訳(メタデータ) (2022-11-22T16:05:58Z) - When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth
Estimation [47.617222712429026]
既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。
まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。
第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
論文 参考訳(メタデータ) (2022-06-28T09:29:55Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - Self-supervised Monocular Depth Estimation for All Day Images using
Domain Separation [17.066753214406525]
本稿では,全日画像の自己教師付き深度推定のための領域分離ネットワークを提案する。
提案手法は,オックスフォード・ロボットカー・データセットにおける全日画像の最先端の深度推定結果を実現する。
論文 参考訳(メタデータ) (2021-08-17T13:52:19Z) - Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular
Depth Estimation in the Dark [20.66405067066299]
未ペア深度マップから分布知識を学習するために,プリエントベース正規化を導入する。
また、画像の可視性とコントラストを高めるために、マッピング一貫性画像強調モジュールを活用している。
筆者らのフレームワークは,2つの夜間データセットに対して,顕著な改善と最先端の結果を達成している。
論文 参考訳(メタデータ) (2021-08-09T06:24:35Z) - SemanticVoxels: Sequential Fusion for 3D Pedestrian Detection using
LiDAR Point Cloud and Semantic Segmentation [4.350338899049983]
我々は、異なるレベルで融合を適用できるように、PointPaintingの一般化を提案する。
本研究では,セマンティックボクセルが3次元および鳥の視線歩行者検出ベンチマークにおいて,最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2020-09-25T14:52:32Z) - Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。
提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
論文 参考訳(メタデータ) (2020-05-06T13:37:08Z) - Night-time Scene Parsing with a Large Real Dataset [67.11211537439152]
我々は,夜間シーン解析(NTSP)の問題に対処することを目指しており,主な課題が2つある。
夜間データの不足に対処するため、実夜間画像4,297枚からなる新しいラベル付きデータセット、NightCityを収集した。
また,NTSP問題に対処するための露出認識フレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-15T18:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。