論文の概要: When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth
Estimation
- arxiv url: http://arxiv.org/abs/2206.13850v1
- Date: Tue, 28 Jun 2022 09:29:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-29 13:52:58.587901
- Title: When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth
Estimation
- Title(参考訳): 太陽が沈むとき:日中の深度推定のために測光損失を修復する
- Authors: Madhu Vankadari, Stuart Golodetz, Sourav Garg, Sangyun Shin, Andrew
Markham, Niki Trigoni
- Abstract要約: 既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。
まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。
第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
- 参考スコア(独自算出の注目度): 47.617222712429026
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Self-supervised deep learning methods for joint depth and ego-motion
estimation can yield accurate trajectories without needing ground-truth
training data. However, as they typically use photometric losses, their
performance can degrade significantly when the assumptions these losses make
(e.g. temporal illumination consistency, a static scene, and the absence of
noise and occlusions) are violated. This limits their use for e.g. nighttime
sequences, which tend to contain many point light sources (including on dynamic
objects) and low signal-to-noise ratio (SNR) in darker image regions. In this
paper, we show how to use a combination of three techniques to allow the
existing photometric losses to work for both day and nighttime images. First,
we introduce a per-pixel neural intensity transformation to compensate for the
light changes that occur between successive frames. Second, we predict a
per-pixel residual flow map that we use to correct the reprojection
correspondences induced by the estimated ego-motion and depth from the
networks. And third, we denoise the training images to improve the robustness
and accuracy of our approach. These changes allow us to train a single model
for both day and nighttime images without needing separate encoders or extra
feature networks like existing methods. We perform extensive experiments and
ablation studies on the challenging Oxford RobotCar dataset to demonstrate the
efficacy of our approach for both day and nighttime sequences.
- Abstract(参考訳): 自己教師付き深層学習法による関節深部および自我運動推定は、地中トレーニングデータを必要としない正確な軌跡を生成することができる。
しかし、通常は測光損失を用いるため、これらの損失が仮定された場合(例えば、時間的照明の一貫性、静的なシーン、ノイズやオクルージョンの欠如)、性能が著しく低下する可能性がある。
これは例えば、暗い画像領域における多くの点光源(動的物体を含む)と低信号-雑音比(SNR)を含むナイトタイムシーケンスの使用を制限する。
本稿では、昼と夜の両方で既存の測光損失を処理可能にするために、3つの手法を組み合わせて用いる方法を示す。
まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。
第2に,推定エゴモーションとネットワークからの深度による再投影対応を補正するために,画素ごとの残留フローマップを推定する。
第3に、トレーニングイメージを飾って、アプローチの堅牢性と正確性を改善します。
これらの変更により、異なるエンコーダや既存のメソッドのような追加機能ネットワークを必要とせずに、昼と夜の両方のイメージに対して単一のモデルをトレーニングすることができます。
我々はオックスフォード・ロボットカー・データセットの大規模な実験とアブレーション実験を行い、昼夜両方のシーケンスに対するアプローチの有効性を実証した。
関連論文リスト
- Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳(メタデータ) (2023-08-31T04:58:17Z) - STEPS: Joint Self-supervised Nighttime Image Enhancement and Depth
Estimation [12.392842482031558]
本研究では,夜間画像強調器と深度推定器を両課題に使用せずに共同で学習する手法を提案する。
提案手法は,新たに提案された不確実な画素マスキング戦略を用いて,2つの自己監督タスクを密に絡み合わせる。
提案手法をnuScenesとRobotCarの2つの確立したデータセットでベンチマークする。
論文 参考訳(メタデータ) (2023-02-02T18:59:47Z) - Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
汚れは視覚的により快適な写真を提供し、写真がより便利になる。
非均一な曖昧さを数学的にモデル化することは困難である。
我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
論文 参考訳(メタデータ) (2023-01-18T06:37:21Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳(メタデータ) (2022-12-22T18:54:34Z) - NoiSER: Noise is All You Need for Enhancing Low-Light Images Without
Task-Related Data [103.04999391668753]
タスク関連のトレーニングデータなしで、低照度画像を拡張できることが示される。
技術的には、アンダーラインノイズと呼ばれる新しい、魔法的で、効果的で効率的な方法を提案する。
我々のNoiSERは、量的および視覚的な結果の観点から、現在のタスク関連データに基づくLLIEモデルと非常に競合しています。
論文 参考訳(メタデータ) (2022-11-09T06:18:18Z) - Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using
Transformer Networks [23.6427456783115]
本研究は,画像からのノイズ推定を集約した屋外照明推定に焦点をあてる。
ディープニューラルネットワークに基づく最近の研究は、単一画像の照明推定に有望な結果を示しているが、堅牢性に悩まされている。
画像シーケンスの角領域と時間領域でサンプリングされた複数の画像ビューからの照明推定値を組み合わせることで、この問題に対処する。
論文 参考訳(メタデータ) (2022-02-18T14:11:16Z) - Invertible Network for Unpaired Low-light Image Enhancement [78.33382003460903]
本稿では,非可逆的ネットワークを活用して,前処理における低照度画像の強化と,非対向学習により逆向きに通常の照度画像の劣化を図ることを提案する。
対向的損失に加えて、トレーニングの安定性を確保し、より詳細な画像を保存するために、様々な損失関数を設計する。
低照度画像に対するプログレッシブ自己誘導強調処理を提案し,SOTAに対して良好な性能を示す。
論文 参考訳(メタデータ) (2021-12-24T17:00:54Z) - Self-supervised Monocular Depth Estimation for All Day Images using
Domain Separation [17.066753214406525]
本稿では,全日画像の自己教師付き深度推定のための領域分離ネットワークを提案する。
提案手法は,オックスフォード・ロボットカー・データセットにおける全日画像の最先端の深度推定結果を実現する。
論文 参考訳(メタデータ) (2021-08-17T13:52:19Z) - Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular
Depth Estimation in the Dark [20.66405067066299]
未ペア深度マップから分布知識を学習するために,プリエントベース正規化を導入する。
また、画像の可視性とコントラストを高めるために、マッピング一貫性画像強調モジュールを活用している。
筆者らのフレームワークは,2つの夜間データセットに対して,顕著な改善と最先端の結果を達成している。
論文 参考訳(メタデータ) (2021-08-09T06:24:35Z) - Unsupervised Monocular Depth Estimation for Night-time Images using
Adversarial Domain Feature Adaptation [17.067988025947024]
我々は、制約のないRGB単眼の夜間画像から画素ごとの深度マップを推定する問題を考察する。
夜間画像でテストした場合、最先端の昼時間深度推定法は不幸にも失敗する。
そこで本稿では,昼夜画像で訓練されたネットワークを夜間画像に適応させるドメイン適応問題として取り上げ,この問題を解決することを提案する。
論文 参考訳(メタデータ) (2020-10-03T17:55:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。