論文の概要: Unrolled Decomposed Unpaired Learning for Controllable Low-Light Video Enhancement
- arxiv url: http://arxiv.org/abs/2408.12316v1
- Date: Thu, 22 Aug 2024 11:45:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 14:13:32.002142
- Title: Unrolled Decomposed Unpaired Learning for Controllable Low-Light Video Enhancement
- Title（参考訳）: 制御可能な低照度映像強調のためのアンロール分解型アンペア学習
- Authors: Lingyu Zhu, Wenhan Yang, Baoliang Chen, Hanwei Zhu, Zhangkai Ni, Qi Mao, Shiqi Wang,
- Abstract要約: 本稿では,2対の地上真実を使わずに,低照度映像のエンハンスメントを学習する上での取り組みについて述べる。
低照度画像の強調に比べて、空間領域におけるノイズ、露出、コントラストの相互干渉効果により、時間的コヒーレンスの必要性が伴うため、低照度映像の強調は困難である。
本稿では,信号の空間的・時間的関連要因に分解するために,最適化関数を深層ネットワークにアンロールすることで低照度映像の高精細化を実現するUnrolled Decompposed Unpaired Network (UDU-Net)を提案する。
- 参考スコア（独自算出の注目度）: 48.76608212565327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Obtaining pairs of low/normal-light videos, with motions, is more challenging than still images, which raises technical issues and poses the technical route of unpaired learning as a critical role. This paper makes endeavors in the direction of learning for low-light video enhancement without using paired ground truth. Compared to low-light image enhancement, enhancing low-light videos is more difficult due to the intertwined effects of noise, exposure, and contrast in the spatial domain, jointly with the need for temporal coherence. To address the above challenge, we propose the Unrolled Decomposed Unpaired Network (UDU-Net) for enhancing low-light videos by unrolling the optimization functions into a deep network to decompose the signal into spatial and temporal-related factors, which are updated iteratively. Firstly, we formulate low-light video enhancement as a Maximum A Posteriori estimation (MAP) problem with carefully designed spatial and temporal visual regularization. Then, via unrolling the problem, the optimization of the spatial and temporal constraints can be decomposed into different steps and updated in a stage-wise manner. From the spatial perspective, the designed Intra subnet leverages unpair prior information from expert photography retouched skills to adjust the statistical distribution. Additionally, we introduce a novel mechanism that integrates human perception feedback to guide network optimization, suppressing over/under-exposure conditions. Meanwhile, to address the issue from the temporal perspective, the designed Inter subnet fully exploits temporal cues in progressive optimization, which helps achieve improved temporal consistency in enhancement results. Consequently, the proposed method achieves superior performance to state-of-the-art methods in video illumination, noise suppression, and temporal consistency across outdoor and indoor scenes.
- Abstract（参考訳）: 動きを伴う低照度/通常照度ビデオのペアを持つことは、静止画よりも困難であり、技術的問題を引き起こし、未経験学習の技術的な経路が重要な役割を果たす。
本稿では,2対の地上真実を使わずに,低照度映像のエンハンスメントを学習する上での取り組みについて述べる。
低照度画像の強調に比べて、空間領域におけるノイズ、露出、コントラストの相互干渉効果により、時間的コヒーレンスの必要性が伴うため、低照度映像の強調は困難である。
この課題に対処するために、最適化機能を深層ネットワークに展開し、繰り返し更新される空間的・時間的要因に分解することで、低照度映像の高精細化を実現するUnrolled Decompposed Unpaired Network (UDU-Net)を提案する。
まず, 空間的, 時間的視覚的正規化を念頭において, 低照度映像強調を最大A Posteriori Estimation (MAP) 問題として定式化する。
そして、問題を解き放つことにより、空間的制約と時間的制約の最適化を異なるステップに分解し、段階的に更新することができる。
空間的視点から見ると、デザインされたイントラネットは、専門家が修正したスキルから得た不公平な事前情報を活用して、統計分布を調節する。
さらに、人間の知覚フィードバックを統合し、ネットワーク最適化をガイドし、オーバー/アンダー露条件を抑える新しいメカニズムを導入する。
一方、時間的観点からこの問題に対処するため、設計したInterサブネットはプログレッシブ最適化における時間的手がかりを完全に活用し、時間的整合性の向上に寄与する。
提案手法は, 映像照明, 騒音抑制, 時間的整合性において, 室内と屋外のシーン間で, 最先端の手法よりも優れた性能を実現する。
関連論文リスト
- Towards Real-world Event-guided Low-light Video Enhancement and Deblurring [39.942568142125126]
イベントカメラは、低照度環境における画質向上のための有望なソリューションとして登場した。
これらのタスクを効果的に処理するためのエンドツーエンドフレームワークを導入します。
我々のフレームワークは、イベントやフレームからの時間情報を効率的に活用するためのモジュールを組み込んでいます。
論文 参考訳（メタデータ） (2024-08-27T09:44:54Z) - Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition [68.6707284662443]
低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的および静的なシーンの復元を目指している。
1つの重要な側面は、時間空間照明と外観強化バージョンに特化した一貫性の制約を定式化することである。
本稿では,レチネックスを基盤とした革新的なビデオ分解戦略について述べる。
論文 参考訳（メタデータ） (2024-05-24T15:56:40Z) - FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation [85.29772293776395]
フレーム間対応とフレーム間対応のFRESCOを導入し,より堅牢な時空間制約を確立する。
この拡張により、フレーム間で意味的に類似したコンテンツのより一貫性のある変換が可能になる。
提案手法では,入力ビデオと高空間時間整合性を実現するために,特徴の明示的な更新を行う。
論文 参考訳（メタデータ） (2024-03-19T17:59:18Z) - Low-light Image and Video Enhancement via Selective Manipulation of
Chromaticity [1.4680035572775534]
低照度画像と映像強調のための簡易かつ効果的なアプローチを提案する。
上述の適応性により、低照度画像分解による照明と反射率へのコストのかかるステップを回避できる。
標準の低照度画像データセットでは,いくつかの最先端技術に対して,アルゴリズムの有効性と質的,定量的な優位性を示す。
論文 参考訳（メタデータ） (2022-03-09T17:01:28Z) - Invertible Network for Unpaired Low-light Image Enhancement [78.33382003460903]
本稿では,非可逆的ネットワークを活用して,前処理における低照度画像の強化と,非対向学習により逆向きに通常の照度画像の劣化を図ることを提案する。
対向的損失に加えて、トレーニングの安定性を確保し、より詳細な画像を保存するために、様々な損失関数を設計する。
低照度画像に対するプログレッシブ自己誘導強調処理を提案し,SOTAに対して良好な性能を示す。
論文 参考訳（メタデータ） (2021-12-24T17:00:54Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-03T17:40:32Z) - Progressive Joint Low-light Enhancement and Noise Removal for Raw Images [10.778200442212334]
モバイル機器の低照度撮像は、比較的小さな開口部を通過する入射光が不足しているため、通常困難である。
そこで我々は,共同照明調整,色強調,遮音を行う低照度画像処理フレームワークを提案する。
我々のフレームワークは、他のカメラモデルに適応する際に、大量のデータを再構成する必要はない。
論文 参考訳（メタデータ） (2021-06-28T16:43:52Z) - Enhanced Spatio-Temporal Interaction Learning for Video Deraining: A
Faster and Better Framework [93.37833982180538]
不要な雨がビデオの可視性を阻害し、ほとんどの屋外ビジョンシステムの堅牢性を低下させるため、ビデオ排水はコンピュータビジョンの重要なタスクです。
拡張時空間相互作用ネットワーク(ESTINet)と呼ばれる新しいエンドツーエンドのデラミニングフレームワークを提案する。
ESTINetは、現在の最先端ビデオの画質とスピードを大幅に向上させる。
論文 参考訳（メタデータ） (2021-03-23T05:19:35Z) - Contextual colorization and denoising for low-light ultra high
resolution sequences [0.0]
低光度画像のシーケンスは、通常、非一貫性のノイズ、フリック、オブジェクトや動くオブジェクトのぼやけに苦しむ。
我々はこれらの問題に,同時着色と着色を同時に行う未経験学習手法で対処する。
提案手法は,主観的品質の観点から既存手法よりも優れており,輝度レベルや雑音の変動に頑健であることを示す。
論文 参考訳（メタデータ） (2021-01-05T15:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。