論文の概要: UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network

• arxiv url: http://arxiv.org/abs/2209.01809v1
• Date: Mon, 5 Sep 2022 07:41:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 15:03:08.118127
• Title: UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network
• Title（参考訳）: UDC-UNet:U字型ダイナミックネットワークによる映像再生
• Authors: Xina Liu, Jinfan Hu, Xiangyu Chen, Chao Dong
• Abstract要約: Under-Display Camera(UDC)は、スマートフォンがフルスクリーンディスプレイを実現するのを助けるために広く利用されている。 スクリーンは必然的に光伝播プロセスに影響を与えるため、UDCシステムによって撮影された画像にはフレア、ヘイズ、ぼかし、ノイズが含まれている。 本稿では、HDRシーンにおける既知のポイントスプレッド機能(PSF)を用いて、UDC画像復元問題に対処する新しいディープモデル、UDC-UNetを提案する。
• 参考スコア（独自算出の注目度）: 13.406025621307132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Under-Display Camera (UDC) has been widely exploited to help smartphones realize full screen display. However, as the screen could inevitably affect the light propagation process, the images captured by the UDC system usually contain flare, haze, blur, and noise. Particularly, flare and blur in UDC images could severely deteriorate the user experience in high dynamic range (HDR) scenes. In this paper, we propose a new deep model, namely UDC-UNet, to address the UDC image restoration problem with the known Point Spread Function (PSF) in HDR scenes. On the premise that Point Spread Function (PSF) of the UDC system is known, we treat UDC image restoration as a non-blind image restoration problem and propose a novel learning-based approach. Our network consists of three parts, including a U-shape base network to utilize multi-scale information, a condition branch to perform spatially variant modulation, and a kernel branch to provide the prior knowledge of the given PSF. According to the characteristics of HDR data, we additionally design a tone mapping loss to stabilize network optimization and achieve better visual quality. Experimental results show that the proposed UDC-UNet outperforms the state-of-the-art methods in quantitative and qualitative comparisons. Our approach won the second place in the UDC image restoration track of MIPI challenge. Codes will be publicly available.
• Abstract（参考訳）: under-display camera (udc) はスマートフォンがフルスクリーンディスプレイを実現するために広く利用されている。 しかし、スクリーンは必然的に光伝播プロセスに影響を与えるため、UDCシステムによって撮影された画像にはフレア、ヘイズ、ぼかし、ノイズが含まれている。 特に、UDC画像のフレアやぼやけは、ハイダイナミックレンジ(HDR)シーンのユーザエクスペリエンスを著しく悪化させる可能性がある。 本稿では,hdrシーンにおける既知の点拡散関数(psf)を用いたudc画像復元問題に対処するための,新しい深層モデルであるudc-unetを提案する。 UDCシステムのポイントスプレッド機能(PSF)が知られていることを前提として,UDC画像復元を非盲点画像復元問題として扱い,新しい学習手法を提案する。 本ネットワークは,マルチスケール情報を利用するU字型ベースネットワーク,空間変動変調を行う条件分岐,与えられたPSFの事前知識を提供するカーネルブランチの3つの部分から構成される。 HDRデータの特徴から,ネットワーク最適化を安定させ,視覚的品質を向上させるために,トーンマッピング損失を設計する。 実験結果から,提案したUDC-UNetは,定量および定性比較において最先端の手法よりも優れていた。 われわれのアプローチはMIPIチャレンジのUDC画像復元トラックで2位を獲得した。 コードは公開されます。

関連論文リスト

• Segmentation Guided Sparse Transformer for Under-Display Camera Image Restoration [91.65248635837145]
  Under-Display Camera(UDC)は、ディスプレイパネルの下にカメラを隠してフルスクリーン表示を実現する新興技術である。 本稿では,UDC 画像復元に Vision Transformer を用いることで,大量の冗長情報やノイズを大域的注目度で検出する。 UDC劣化画像から高品質な画像を復元するためのガイドスパース変換器(SGSFormer)を提案する。
  論文  参考訳（メタデータ） (2024-03-09T13:11:59Z)
• Deep Video Restoration for Under-Display Camera [98.17505013737446]
  本稿では,現実的な UDC 劣化過程をシミュレートする GAN ベースの生成パイプラインを提案する。 我々は PexelsUDC という,最初の大規模 UDC ビデオ復元データセットを構築した。 本稿では,動画の劣化を適応的に改善するトランスフォーマーベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T10:48:06Z)
• Blind Face Restoration for Under-Display Camera via Dictionary Guided Transformer [32.06570655576273]
  Under-Display Camera (UDC)は、前面カメラをディスプレイパネルの下に隠してフルスクリーン体験を提供する。 UDC画像はディスプレイの特性によって著しく画質が劣化する。 UDC-DMNetと呼ばれる2段階のUDC分解モデルネットワークを提案し、UDCイメージングの過程をモデル化してUDC画像を合成する。
  論文  参考訳（メタデータ） (2023-08-20T08:02:23Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Generating Aligned Pseudo-Supervision from Non-Aligned Data for Image Restoration in Under-Display Camera [84.41316720913785]
  トレーニングデータ収集のための古典的なステレオセットアップを再考する -- 同じシーンの2つの画像を1つのUDCと1つの標準カメラでキャプチャする。 鍵となるアイデアは、高品質な参照イメージから詳細を"コピー"し、UDCイメージ上でそれらを"ペースト"することです。 トランスフォーマーベースの新しいフレームワークは、対応するUDC入力に対して、整合性はあるが高品質なターゲットデータを生成する。
  論文  参考訳（メタデータ） (2023-04-12T17:56:42Z)
• Modular Degradation Simulation and Restoration for Under-Display Camera [21.048590332029995]
  ディスプレイ下カメラ(UDC)はフルスクリーンスマートフォンにエレガントなソリューションを提供する。 UDCが撮影した画像は、センサーがディスプレイの下に置かれているため、深刻な劣化に悩まされている。 UDC画像のシミュレーションにGAN(Generative Adversarial Network)フレームワークを用いたMPGNetと呼ばれるモジュラーネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-23T07:36:07Z)
• Rank-Enhanced Low-Dimensional Convolution Set for Hyperspectral Image Denoising [50.039949798156826]
  本稿では,ハイパースペクトル(HS)画像の難解化問題に対処する。 ランク付き低次元畳み込み集合(Re-ConvSet)を提案する。 次に、Re-ConvSetを広く使われているU-Netアーキテクチャに組み込んで、HS画像復号法を構築する。
  論文  参考訳（メタデータ） (2022-07-09T13:35:12Z)
• Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network [80.67717076541956]
  アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。 典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。 本研究では,前述の劣化問題の解析と対処を目的とする。
  論文  参考訳（メタデータ） (2021-04-19T18:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。