論文の概要: When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation

• arxiv url: http://arxiv.org/abs/2206.13850v1
• Date: Tue, 28 Jun 2022 09:29:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 13:52:58.587901
• Title: When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation
• Title（参考訳）: 太陽が沈むとき:日中の深度推定のために測光損失を修復する
• Authors: Madhu Vankadari, Stuart Golodetz, Sourav Garg, Sangyun Shin, Andrew Markham, Niki Trigoni
• Abstract要約: 既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
• 参考スコア（独自算出の注目度）: 47.617222712429026
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-supervised deep learning methods for joint depth and ego-motion estimation can yield accurate trajectories without needing ground-truth training data. However, as they typically use photometric losses, their performance can degrade significantly when the assumptions these losses make (e.g. temporal illumination consistency, a static scene, and the absence of noise and occlusions) are violated. This limits their use for e.g. nighttime sequences, which tend to contain many point light sources (including on dynamic objects) and low signal-to-noise ratio (SNR) in darker image regions. In this paper, we show how to use a combination of three techniques to allow the existing photometric losses to work for both day and nighttime images. First, we introduce a per-pixel neural intensity transformation to compensate for the light changes that occur between successive frames. Second, we predict a per-pixel residual flow map that we use to correct the reprojection correspondences induced by the estimated ego-motion and depth from the networks. And third, we denoise the training images to improve the robustness and accuracy of our approach. These changes allow us to train a single model for both day and nighttime images without needing separate encoders or extra feature networks like existing methods. We perform extensive experiments and ablation studies on the challenging Oxford RobotCar dataset to demonstrate the efficacy of our approach for both day and nighttime sequences.
• Abstract（参考訳）: 自己教師付き深層学習法による関節深部および自我運動推定は、地中トレーニングデータを必要としない正確な軌跡を生成することができる。 しかし、通常は測光損失を用いるため、これらの損失が仮定された場合(例えば、時間的照明の一貫性、静的なシーン、ノイズやオクルージョンの欠如)、性能が著しく低下する可能性がある。 これは例えば、暗い画像領域における多くの点光源(動的物体を含む)と低信号-雑音比(SNR)を含むナイトタイムシーケンスの使用を制限する。 本稿では、昼と夜の両方で既存の測光損失を処理可能にするために、3つの手法を組み合わせて用いる方法を示す。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションとネットワークからの深度による再投影対応を補正するために,画素ごとの残留フローマップを推定する。 第3に、トレーニングイメージを飾って、アプローチの堅牢性と正確性を改善します。 これらの変更により、異なるエンコーダや既存のメソッドのような追加機能ネットワークを必要とせずに、昼と夜の両方のイメージに対して単一のモデルをトレーニングすることができます。 我々はオックスフォード・ロボットカー・データセットの大規模な実験とアブレーション実験を行い、昼夜両方のシーケンスに対するアプローチの有効性を実証した。

関連論文リスト

• bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
  疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。 Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。 本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:30:35Z)
• Transientangelo: Few-Viewpoint Surface Reconstruction Using Single-Photon Lidar [8.464054039931245]
  ライダーは、ターゲットに光のパルスを放出し、反射光の光速遅延を記録することで、3Dシーンの幾何学を捉えている。 従来のライダーシステムは、後方散乱光の生で捕獲された波形を出力しない。 我々は,光子ノイズに対するロバスト性を向上させる新しい正則化戦略を開発し,画素あたり10光子程度で正確な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T08:12:09Z)
• Self-Supervised Monocular Depth Estimation in the Dark: Towards Data Distribution Compensation [24.382795861986803]
  光度一貫性の仮定は、複雑な照明条件下で撮影されたビデオには通常違反するため、自己超越のために夜間画像を使用することは信頼できない。 本研究では,トレーニング中に夜間画像を使用しない夜間単眼深度推定手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T03:39:03Z)
• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Improving Lens Flare Removal with General Purpose Pipeline and Multiple Light Sources Recovery [69.71080926778413]
  フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。 現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。 本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
  論文  参考訳（メタデータ） (2023-08-31T04:58:17Z)
• Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
  汚れは視覚的により快適な写真を提供し、写真がより便利になる。 非均一な曖昧さを数学的にモデル化することは困難である。 我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
  論文  参考訳（メタデータ） (2023-01-18T06:37:21Z)
• Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using Transformer Networks [23.6427456783115]
  本研究は,画像からのノイズ推定を集約した屋外照明推定に焦点をあてる。 ディープニューラルネットワークに基づく最近の研究は、単一画像の照明推定に有望な結果を示しているが、堅牢性に悩まされている。 画像シーケンスの角領域と時間領域でサンプリングされた複数の画像ビューからの照明推定値を組み合わせることで、この問題に対処する。
  論文  参考訳（メタデータ） (2022-02-18T14:11:16Z)
• Invertible Network for Unpaired Low-light Image Enhancement [78.33382003460903]
  本稿では,非可逆的ネットワークを活用して,前処理における低照度画像の強化と,非対向学習により逆向きに通常の照度画像の劣化を図ることを提案する。 対向的損失に加えて、トレーニングの安定性を確保し、より詳細な画像を保存するために、様々な損失関数を設計する。 低照度画像に対するプログレッシブ自己誘導強調処理を提案し,SOTAに対して良好な性能を示す。
  論文  参考訳（メタデータ） (2021-12-24T17:00:54Z)
• Self-supervised Monocular Depth Estimation for All Day Images using Domain Separation [17.066753214406525]
  本稿では,全日画像の自己教師付き深度推定のための領域分離ネットワークを提案する。 提案手法は,オックスフォード・ロボットカー・データセットにおける全日画像の最先端の深度推定結果を実現する。
  論文  参考訳（メタデータ） (2021-08-17T13:52:19Z)
• Unsupervised Monocular Depth Estimation for Night-time Images using Adversarial Domain Feature Adaptation [17.067988025947024]
  我々は、制約のないRGB単眼の夜間画像から画素ごとの深度マップを推定する問題を考察する。 夜間画像でテストした場合、最先端の昼時間深度推定法は不幸にも失敗する。 そこで本稿では,昼夜画像で訓練されたネットワークを夜間画像に適応させるドメイン適応問題として取り上げ,この問題を解決することを提案する。
  論文  参考訳（メタデータ） (2020-10-03T17:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。