論文の概要: Decoupling Degradations with Recurrent Network for Video Restoration in Under-Display Camera

• arxiv url: http://arxiv.org/abs/2403.05660v1
• Date: Fri, 8 Mar 2024 20:21:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 13:05:26.726312
• Title: Decoupling Degradations with Recurrent Network for Video Restoration in Under-Display Camera
• Title（参考訳）: ビデオ再生のためのリカレントネットワークを用いたアンダーディスプレイカメラの分解劣化
• Authors: Chengxu Liu, Xuan Wang, Yuanting Fan, Shuai Li and Xueming Qian
• Abstract要約: ディスプレイ下カメラ(UDC)システムは、ディスプレイの下にレンズがマウントされるフルスクリーンディスプレイデバイスの基礎である。 本稿では,UDCシステム用に設計された新しいビデオ復元ネットワークD$2$RNetを紹介する。 ビデオ劣化要因を効果的に分離するデカップリング注意モジュール(DAM)のセットを採用している。
• 参考スコア（独自算出の注目度）: 24.330832680171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under-display camera (UDC) systems are the foundation of full-screen display devices in which the lens mounts under the display. The pixel array of light-emitting diodes used for display diffracts and attenuates incident light, causing various degradations as the light intensity changes. Unlike general video restoration which recovers video by treating different degradation factors equally, video restoration for UDC systems is more challenging that concerns removing diverse degradation over time while preserving temporal consistency. In this paper, we introduce a novel video restoration network, called D$^2$RNet, specifically designed for UDC systems. It employs a set of Decoupling Attention Modules (DAM) that effectively separate the various video degradation factors. More specifically, a soft mask generation function is proposed to formulate each frame into flare and haze based on the diffraction arising from incident light of different intensities, followed by the proposed flare and haze removal components that leverage long- and short-term feature learning to handle the respective degradations. Such a design offers an targeted and effective solution to eliminating various types of degradation in UDC systems. We further extend our design into multi-scale to overcome the scale-changing of degradation that often occur in long-range videos. To demonstrate the superiority of D$^2$RNet, we propose a large-scale UDC video benchmark by gathering HDR videos and generating realistically degraded videos using the point spread function measured by a commercial UDC system. Extensive quantitative and qualitative evaluations demonstrate the superiority of D$^2$RNet compared to other state-of-the-art video restoration and UDC image restoration methods. Code is available at https://github.com/ChengxuLiu/DDRNet.git
• Abstract（参考訳）: ディスプレイ下カメラ(UDC)システムは、ディスプレイの下にレンズがマウントされるフルスクリーンディスプレイデバイスの基礎である。 回折表示に用いる発光ダイオードの画素アレイは、入射光を減衰させ、光強度が変化するにつれて様々な劣化を引き起こす。 異なる劣化因子を等しく処理してビデオを復元する一般的なビデオ修復とは異なり、udcシステムのビデオ復元は、時間的一貫性を維持しながら、経時的に多様な劣化を取り除くことを懸念するより難しい。 本稿では,d$^2$rnetと呼ばれるudcシステム用に設計された新しいビデオ復元ネットワークを提案する。 ビデオ劣化要因を効果的に分離するデカップリング注意モジュール(DAM)のセットを採用している。 より具体的には、異なる強度の入射光から生じる回折に基づいて、各フレームをフレアとヘイズに定式化するソフトマスク生成関数を提案し、その後、長期的および短期的な特徴学習を利用して各劣化を処理するフレアとヘイズ除去成分を提案する。 このような設計は、UDCシステムにおける様々な種類の劣化を取り除くための、ターゲット的で効果的な解決策を提供する。 さらに, 長距離ビデオで発生する劣化のスケール変化を克服するために, 設計をマルチスケールに拡張する。 d$^2$rnet の優位性を示すために,hdr 映像を収集し,商用udc システムで測定した点拡散関数を用いて実物劣化映像を生成する大規模udc ビデオベンチマークを提案する。 D$^2$RNetの広汎な定量的および定性的評価は、他の最先端ビデオ復元法やUDC画像復元法と比較して優れていることを示す。 コードはhttps://github.com/ChengxuLiu/DDRNet.gitで入手できる。

関連論文リスト

• DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models [9.145545884814327]
  本稿では,事前学習画像復元拡散モデルを用いたゼロショット映像復元手法を提案する。 本手法は,ゼロショット映像復元において最高の性能を発揮することを示す。 本手法は任意の2次元復元拡散モデルで動作し,広範に再トレーニングを行うことなく,映像強調作業のための汎用的で強力なツールを提供する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:12Z)
• Deep Video Restoration for Under-Display Camera [98.17505013737446]
  本稿では,現実的な UDC 劣化過程をシミュレートする GAN ベースの生成パイプラインを提案する。 我々は PexelsUDC という,最初の大規模 UDC ビデオ復元データセットを構築した。 本稿では,動画の劣化を適応的に改善するトランスフォーマーベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T10:48:06Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)
• Modular Degradation Simulation and Restoration for Under-Display Camera [21.048590332029995]
  ディスプレイ下カメラ(UDC)はフルスクリーンスマートフォンにエレガントなソリューションを提供する。 UDCが撮影した画像は、センサーがディスプレイの下に置かれているため、深刻な劣化に悩まされている。 UDC画像のシミュレーションにGAN(Generative Adversarial Network)フレームワークを用いたMPGNetと呼ばれるモジュラーネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-23T07:36:07Z)
• UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network [13.406025621307132]
  Under-Display Camera(UDC)は、スマートフォンがフルスクリーンディスプレイを実現するのを助けるために広く利用されている。 スクリーンは必然的に光伝播プロセスに影響を与えるため、UDCシステムによって撮影された画像にはフレア、ヘイズ、ぼかし、ノイズが含まれている。 本稿では、HDRシーンにおける既知のポイントスプレッド機能(PSF)を用いて、UDC画像復元問題に対処する新しいディープモデル、UDC-UNetを提案する。
  論文  参考訳（メタデータ） (2022-09-05T07:41:44Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• VRT: A Video Restoration Transformer [126.79589717404863]
  ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。 並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
  論文  参考訳（メタデータ） (2022-01-28T17:54:43Z)
• Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network [80.67717076541956]
  アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。 典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。 本研究では,前述の劣化問題の解析と対処を目的とする。
  論文  参考訳（メタデータ） (2021-04-19T18:41:45Z)
• Image Restoration for Under-Display Camera [14.209602483950322]
  フルスクリーンデバイスの新たなトレンドは、私たちはスクリーンの後ろにカメラを置くことを奨励します。 ベゼルを外し、画面下にカメラを集中させると、ディスプレイとボディの比率が大きくなり、ビデオチャットではアイコンタクトが強化されるが、画像の劣化も引き起こす。 本稿では,新たに定義されたUnder-Display Camera (UDC) に焦点をあてる。
  論文  参考訳（メタデータ） (2020-03-10T17:09:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。