論文の概要: DAP-LED: Learning Degradation-Aware Priors with CLIP for Joint Low-light Enhancement and Deblurring
- arxiv url: http://arxiv.org/abs/2409.13496v1
- Date: Fri, 20 Sep 2024 13:37:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 06:53:09.581204
- Title: DAP-LED: Learning Degradation-Aware Priors with CLIP for Joint Low-light Enhancement and Deblurring
- Title（参考訳）: DAP-LED:CLIPによる低照度化と劣化の学習
- Authors: Ling Wang, Chen Wu, Lin Wang,
- Abstract要約: DAP-LEDと呼ばれる新しい変圧器を用いた共同学習フレームワークを提案する。
低照度向上と劣化を共同で達成することができ、深度推定、セグメンテーション、暗黒での検知といった下流タスクの恩恵を受けることができる。
重要な洞察は、CLIPを活用して、夜間に画像から劣化レベルを適応的に学習することだ。
- 参考スコア（独自算出の注目度）: 14.003870853594972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous vehicles and robots often struggle with reliable visual perception at night due to the low illumination and motion blur caused by the long exposure time of RGB cameras. Existing methods address this challenge by sequentially connecting the off-the-shelf pretrained low-light enhancement and deblurring models. Unfortunately, these methods often lead to noticeable artifacts (\eg, color distortions) in the over-exposed regions or make it hardly possible to learn the motion cues of the dark regions. In this paper, we interestingly find vision-language models, \eg, Contrastive Language-Image Pretraining (CLIP), can comprehensively perceive diverse degradation levels at night. In light of this, we propose a novel transformer-based joint learning framework, named DAP-LED, which can jointly achieve low-light enhancement and deblurring, benefiting downstream tasks, such as depth estimation, segmentation, and detection in the dark. The key insight is to leverage CLIP to adaptively learn the degradation levels from images at night. This subtly enables learning rich semantic information and visual representation for optimization of the joint tasks. To achieve this, we first introduce a CLIP-guided cross-fusion module to obtain multi-scale patch-wise degradation heatmaps from the image embeddings. Then, the heatmaps are fused via the designed CLIP-enhanced transformer blocks to retain useful degradation information for effective model optimization. Experimental results show that, compared to existing methods, our DAP-LED achieves state-of-the-art performance in the dark. Meanwhile, the enhanced results are demonstrated to be effective for three downstream tasks. For demo and more results, please check the project page: \url{https://vlislab22.github.io/dap-led/}.
- Abstract（参考訳）: 自律走行車やロボットは、RGBカメラの長時間露光による照度と動きのぼかしが低いため、夜間に信頼できる視覚に苦しむことが多い。
既存の手法はこの課題に対処し、既訓練の低照度エンハンスメントとデブロアリングモデルを順次接続する。
残念なことに、これらの手法は、過剰に露光された領域における顕著な人工物(色歪み)を引き起こすか、暗黒領域の運動キューをほとんど学ばないようにする。
本稿では,視覚言語モデルであるCLIP(Contrastive Language- Image Pretraining)が,夜間における多様な劣化レベルを包括的に知覚できることを示す。
そこで本研究では,低照度化と劣化を共同で実現し,深度推定,セグメンテーション,暗黒領域の検出といった下流作業に役立てる,トランスフォーマーを用いた新しい共同学習フレームワーク DAP-LED を提案する。
重要な洞察は、CLIPを活用して、夜間に画像から劣化レベルを適応的に学習することだ。
これにより、統合タスクの最適化のためのリッチな意味情報と視覚的表現を学習することができる。
これを実現するために、まずCLIP誘導クロスフュージョンモジュールを導入し、画像埋め込みからマルチスケールのパッチワイズ分解ヒートマップを得る。
熱マップは設計したCLIP拡張変換器ブロックを介して融合され、効率的なモデル最適化のための有用な劣化情報を保持する。
実験の結果,既存の手法と比較して,DAP-LEDは暗黒環境での最先端性能を実現していることがわかった。
一方、強化された結果は3つの下流タスクに有効であることが示されている。
デモやその他の結果については、プロジェクトページを参照してほしい。
関連論文リスト
- You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement [50.37253008333166]
低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。
水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。
輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
論文 参考訳（メタデータ） (2024-02-08T16:47:43Z) - Low-Light Image Enhancement with Illumination-Aware Gamma Correction and
Complete Image Modelling Network [69.96295927854042]
低照度環境は通常、情報の少ない大規模な暗黒地帯に繋がる。
本稿では,ガンマ補正の有効性を深層ネットワークのモデリング能力と統合することを提案する。
指数関数演算は高い計算複雑性をもたらすので、Taylor Series を用いてガンマ補正を近似することを提案する。
論文 参考訳（メタデータ） (2023-08-16T08:46:51Z) - From Generation to Suppression: Towards Effective Irregular Glow Removal
for Nighttime Visibility Enhancement [22.565044107631696]
既存の低照度画像強調法 (LLIE) は、主に暗黒領域の明るさを改善するために設計されている。
これらの手法は、他の大きな視界の損傷である、夜間の夜景における光の影響を限定的に探究することができる。
大気点拡散関数(APSF)に基づく多重散乱推定による物理光発生の学習法を提案する。
提案手法はゼロショット学習に基づいており、ペアやアンペアのトレーニングデータに頼らず、光抑制と低照度強化の両方において提案手法の有効性を実証的に評価する。
論文 参考訳（メタデータ） (2023-07-31T15:51:15Z) - LLDiffusion: Learning Degradation Representations in Diffusion Models
for Low-Light Image Enhancement [118.83316133601319]
現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。
本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
論文 参考訳（メタデータ） (2023-07-27T07:22:51Z) - When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth
Estimation [47.617222712429026]
既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。
まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。
第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
論文 参考訳（メタデータ） (2022-06-28T09:29:55Z) - Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。
カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。
我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
論文 参考訳（メタデータ） (2022-04-21T14:40:32Z) - Semantically Contrastive Learning for Low-light Image Enhancement [48.71522073014808]
低照度画像強調(LLE)は、単一のRGB画像の低コントラストと低可視性の問題が好ましくないため、依然として困難である。
LLE(SCL-LLE)のための効果的な意味論的コントラスト学習パラダイムを提案する。
提案手法は6つの独立したクロスシーンデータセット上で,最先端のLLEモデルを上回る。
論文 参考訳（メタデータ） (2021-12-13T07:08:33Z) - Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。
カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。
LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
論文 参考訳（メタデータ） (2021-03-19T04:00:27Z) - Bridge the Vision Gap from Field to Command: A Deep Learning Network
Enhancing Illumination and Details [17.25188250076639]
我々は,明るさを調整し,細部を同時に強化する2ストリームフレームワークNEIDを提案する。
提案手法は,光強調 (LE), 細粒化 (DR), 特徴拡散 (FF) モジュールの3つの部分から構成される。
論文 参考訳（メタデータ） (2021-01-20T09:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。