論文の概要: STEPS: Joint Self-supervised Nighttime Image Enhancement and Depth Estimation

• arxiv url: http://arxiv.org/abs/2302.01334v1
• Date: Thu, 2 Feb 2023 18:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 12:41:58.382456
• Title: STEPS: Joint Self-supervised Nighttime Image Enhancement and Depth Estimation
• Title（参考訳）: STEPS: 自己監督型夜間画像強調と深度推定
• Authors: Yupeng Zheng, Chengliang Zhong, Pengfei Li, Huan-ang Gao, Yuhang Zheng, Bu Jin, Ling Wang, Hao Zhao, Guyue Zhou, Qichao Zhang and Dongbin Zhao
• Abstract要約: 本研究では,夜間画像強調器と深度推定器を両課題に使用せずに共同で学習する手法を提案する。 提案手法は,新たに提案された不確実な画素マスキング戦略を用いて,2つの自己監督タスクを密に絡み合わせる。 提案手法をnuScenesとRobotCarの2つの確立したデータセットでベンチマークする。
• 参考スコア（独自算出の注目度）: 12.392842482031558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised depth estimation draws a lot of attention recently as it can promote the 3D sensing capabilities of self-driving vehicles. However, it intrinsically relies upon the photometric consistency assumption, which hardly holds during nighttime. Although various supervised nighttime image enhancement methods have been proposed, their generalization performance in challenging driving scenarios is not satisfactory. To this end, we propose the first method that jointly learns a nighttime image enhancer and a depth estimator, without using ground truth for either task. Our method tightly entangles two self-supervised tasks using a newly proposed uncertain pixel masking strategy. This strategy originates from the observation that nighttime images not only suffer from underexposed regions but also from overexposed regions. By fitting a bridge-shaped curve to the illumination map distribution, both regions are suppressed and two tasks are bridged naturally. We benchmark the method on two established datasets: nuScenes and RobotCar and demonstrate state-of-the-art performance on both of them. Detailed ablations also reveal the mechanism of our proposal. Last but not least, to mitigate the problem of sparse ground truth of existing datasets, we provide a new photo-realistically enhanced nighttime dataset based upon CARLA. It brings meaningful new challenges to the community. Codes, data, and models are available at https://github.com/ucaszyp/STEPS.
• Abstract（参考訳）: 自動運転車の3Dセンシング能力を促進できるため、自己監督型深度推定は近年多くの注目を集めている。 しかし、本質的には、夜間にほとんど持たない測光一貫性の仮定に依存している。 様々な夜間画像強調手法が提案されているが,運転シナリオにおける一般化性能は満足できない。 そこで本研究では,夜間画像エンハンサーと深度推定器を共同で学習する最初の手法を提案する。 提案手法は,新たに提案する不確定な画素マスキング戦略を用いて,二つの自己教師付きタスクを密に絡み合う。 この戦略は、夜間の映像が露出度の低い地域だけでなく、露出度の高い地域も苦しむという観測から生まれた。 照明マップ分布に橋形曲線をフィッティングすることにより、両領域を抑圧し、2つのタスクを自然にブリッジする。 提案手法をnuScenesとRobotCarの2つの確立したデータセット上でベンチマークし,両者の最先端性能を示す。 詳細なアブレーションも提案のメカニズムを明らかにしている。 最後に,既存のデータセットの細かな基底真理の問題を緩和するために,CARLAに基づく新たな写真リアルに強化された夜間データセットを提供する。 コミュニティに意味のある新しい課題をもたらします。 コード、データ、モデルはhttps://github.com/ucaszyp/STEPSで入手できる。

関連論文リスト

• Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
  夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。 具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。 提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-08-25T13:59:31Z)
• Sun Off, Lights On: Photorealistic Monocular Nighttime Simulation for Robust Semantic Perception [53.631644875171595]
  夜間のシーンは、学習したモデルで意味的に知覚し、人間に注釈を付けるのは難しい。 本手法は,1枚の画像の夜間シミュレーションを3Dで行う方法として,サンオフ,ライトオン (SOLO) と命名された。 夜間画像の視覚的品質と光リアリズムは,拡散モデルを含む競合するアプローチよりも優れているだけでなく,従来の画像は,昼夜適応における意味的夜間セグメンテーションに有益であることが証明されている。
  論文  参考訳（メタデータ） (2024-07-29T18:00:09Z)
• Self-Supervised Monocular Depth Estimation in the Dark: Towards Data Distribution Compensation [24.382795861986803]
  光度一貫性の仮定は、複雑な照明条件下で撮影されたビデオには通常違反するため、自己超越のために夜間画像を使用することは信頼できない。 本研究では,トレーニング中に夜間画像を使用しない夜間単眼深度推定手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T03:39:03Z)
• Improving Panoptic Segmentation for Nighttime or Low-Illumination Urban Driving Scenes [0.0]
  そこで本研究では,Panopticセグメンテーションの性能とロバスト性を改善するための2つの新しい手法を提案する。 悪い結果の要因の1つは、都会の運転シーンに十分な、正確にアノテートされた夜間画像がないことである。 提案手法はCycleGANを用いて,既存の汎視的アノテーションを用いた昼間画像から夜間画像への変換を行う。 その後、照明条件や夜間条件下での性能と堅牢性を向上させるために、パノプティカルセグメンテーションモデルを再訓練するために使用される。
  論文  参考訳（メタデータ） (2023-06-23T18:14:26Z)
• When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation [47.617222712429026]
  既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
  論文  参考訳（メタデータ） (2022-06-28T09:29:55Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• Self-supervised Monocular Depth Estimation for All Day Images using Domain Separation [17.066753214406525]
  本稿では,全日画像の自己教師付き深度推定のための領域分離ネットワークを提案する。 提案手法は,オックスフォード・ロボットカー・データセットにおける全日画像の最先端の深度推定結果を実現する。
  論文  参考訳（メタデータ） (2021-08-17T13:52:19Z)
• Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular Depth Estimation in the Dark [20.66405067066299]
  未ペア深度マップから分布知識を学習するために,プリエントベース正規化を導入する。 また、画像の可視性とコントラストを高めるために、マッピング一貫性画像強調モジュールを活用している。 筆者らのフレームワークは,2つの夜間データセットに対して,顕著な改善と最先端の結果を達成している。
  論文  参考訳（メタデータ） (2021-08-09T06:24:35Z)
• Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
  我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。 提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
  論文  参考訳（メタデータ） (2020-05-06T13:37:08Z)
• Night-time Scene Parsing with a Large Real Dataset [67.11211537439152]
  我々は,夜間シーン解析(NTSP)の問題に対処することを目指しており,主な課題が2つある。 夜間データの不足に対処するため、実夜間画像4,297枚からなる新しいラベル付きデータセット、NightCityを収集した。 また,NTSP問題に対処するための露出認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T18:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。