論文の概要: Blind Face Restoration for Under-Display Camera via Dictionary Guided Transformer

• arxiv url: http://arxiv.org/abs/2308.10196v2
• Date: Fri, 1 Dec 2023 17:49:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 18:08:21.004309
• Title: Blind Face Restoration for Under-Display Camera via Dictionary Guided Transformer
• Title（参考訳）: 辞書案内トランスフォーマによるアンダーディスプレイカメラのブラインドフェース復元
• Authors: Jingfan Tan, Xiaoxu Chen, Tao Wang, Kaihao Zhang, Wenhan Luo, Xiaocun Cao
• Abstract要約: Under-Display Camera (UDC)は、前面カメラをディスプレイパネルの下に隠してフルスクリーン体験を提供する。 UDC画像はディスプレイの特性によって著しく画質が劣化する。 UDC-DMNetと呼ばれる2段階のUDC分解モデルネットワークを提案し、UDCイメージングの過程をモデル化してUDC画像を合成する。
• 参考スコア（独自算出の注目度）: 32.06570655576273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By hiding the front-facing camera below the display panel, Under-Display Camera (UDC) provides users with a full-screen experience. However, due to the characteristics of the display, images taken by UDC suffer from significant quality degradation. Methods have been proposed to tackle UDC image restoration and advances have been achieved. There are still no specialized methods and datasets for restoring UDC face images, which may be the most common problem in the UDC scene. To this end, considering color filtering, brightness attenuation, and diffraction in the imaging process of UDC, we propose a two-stage network UDC Degradation Model Network named UDC-DMNet to synthesize UDC images by modeling the processes of UDC imaging. Then we use UDC-DMNet and high-quality face images from FFHQ and CelebA-Test to create UDC face training datasets FFHQ-P/T and testing datasets CelebA-Test-P/T for UDC face restoration. We propose a novel dictionary-guided transformer network named DGFormer. Introducing the facial component dictionary and the characteristics of the UDC image in the restoration makes DGFormer capable of addressing blind face restoration in UDC scenarios. Experiments show that our DGFormer and UDC-DMNet achieve state-of-the-art performance.
• Abstract（参考訳）: 前面カメラをディスプレイパネルの下に隠すことで、Under-Display Camera(UDC)はフルスクリーン体験を提供する。 しかし, ディスプレイの特性から, UDCで撮影した画像は品質劣化に悩まされている。 UDC画像復元のための手法が提案され、進歩が達成されている。 UDCの顔画像の復元には特別な方法やデータセットはいまだに存在しないが、UDCのシーンで最も一般的な問題かもしれない。 そこで本研究では,udcの撮像過程におけるカラーフィルタリング,輝度減衰,回折を考慮し,udc-dmnetと呼ばれる2段ネットワークudc劣化モデルネットワークを提案し,udcイメージングの過程をモデル化してudc画像を合成する。 次に、UDC-DMNetとFFHQとCelebA-Testの高品質な顔画像を使用して、UDCの顔トレーニングデータセットFFHQ-P/TとテストデータセットCelebA-Test-P/Tを作成し、UDCの顔復元に利用します。 dgformer という新しい辞書案内トランスフォーマーネットワークを提案する。 修復における顔成分辞書の導入とUDC画像の特徴により、DGFormerはUDCシナリオにおけるブラインドフェイス復元に対処できる。 DGFormer と UDC-DMNet が最先端の性能を発揮することを示す実験を行った。

関連論文リスト

• Segmentation Guided Sparse Transformer for Under-Display Camera Image Restoration [91.65248635837145]
  Under-Display Camera(UDC)は、ディスプレイパネルの下にカメラを隠してフルスクリーン表示を実現する新興技術である。 本稿では,UDC 画像復元に Vision Transformer を用いることで,大量の冗長情報やノイズを大域的注目度で検出する。 UDC劣化画像から高品質な画像を復元するためのガイドスパース変換器(SGSFormer)を提案する。
  論文  参考訳（メタデータ） (2024-03-09T13:11:59Z)
• Deep Video Restoration for Under-Display Camera [98.17505013737446]
  本稿では,現実的な UDC 劣化過程をシミュレートする GAN ベースの生成パイプラインを提案する。 我々は PexelsUDC という,最初の大規模 UDC ビデオ復元データセットを構築した。 本稿では,動画の劣化を適応的に改善するトランスフォーマーベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T10:48:06Z)
• DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
  DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。 DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。 第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。 第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:11:52Z)
• Generating Aligned Pseudo-Supervision from Non-Aligned Data for Image Restoration in Under-Display Camera [84.41316720913785]
  トレーニングデータ収集のための古典的なステレオセットアップを再考する -- 同じシーンの2つの画像を1つのUDCと1つの標準カメラでキャプチャする。 鍵となるアイデアは、高品質な参照イメージから詳細を"コピー"し、UDCイメージ上でそれらを"ペースト"することです。 トランスフォーマーベースの新しいフレームワークは、対応するUDC入力に対して、整合性はあるが高品質なターゲットデータを生成する。
  論文  参考訳（メタデータ） (2023-04-12T17:56:42Z)
• Modular Degradation Simulation and Restoration for Under-Display Camera [21.048590332029995]
  ディスプレイ下カメラ(UDC)はフルスクリーンスマートフォンにエレガントなソリューションを提供する。 UDCが撮影した画像は、センサーがディスプレイの下に置かれているため、深刻な劣化に悩まされている。 UDC画像のシミュレーションにGAN(Generative Adversarial Network)フレームワークを用いたMPGNetと呼ばれるモジュラーネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-23T07:36:07Z)
• UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network [13.406025621307132]
  Under-Display Camera(UDC)は、スマートフォンがフルスクリーンディスプレイを実現するのを助けるために広く利用されている。 スクリーンは必然的に光伝播プロセスに影響を与えるため、UDCシステムによって撮影された画像にはフレア、ヘイズ、ぼかし、ノイズが含まれている。 本稿では、HDRシーンにおける既知のポイントスプレッド機能(PSF)を用いて、UDC画像復元問題に対処する新しいディープモデル、UDC-UNetを提案する。
  論文  参考訳（メタデータ） (2022-09-05T07:41:44Z)
• Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network [80.67717076541956]
  アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。 典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。 本研究では,前述の劣化問題の解析と対処を目的とする。
  論文  参考訳（メタデータ） (2021-04-19T18:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。