論文の概要: Deep Video Restoration for Under-Display Camera

• arxiv url: http://arxiv.org/abs/2309.04752v1
• Date: Sat, 9 Sep 2023 10:48:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 16:37:21.145517
• Title: Deep Video Restoration for Under-Display Camera
• Title（参考訳）: アンダーディスプレイカメラの深部映像復元
• Authors: Xuanxi Chen, Tao Wang, Ziqian Shao, Kaihao Zhang, Wenhan Luo, Tong Lu, Zikun Liu, Tae-Kyun Kim, Hongdong Li
• Abstract要約: 本稿では,現実的な UDC 劣化過程をシミュレートする GAN ベースの生成パイプラインを提案する。 我々は PexelsUDC という,最初の大規模 UDC ビデオ復元データセットを構築した。 本稿では,動画の劣化を適応的に改善するトランスフォーマーベースライン手法を提案する。
• 参考スコア（独自算出の注目度）: 98.17505013737446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Images or videos captured by the Under-Display Camera (UDC) suffer from severe degradation, such as saturation degeneration and color shift. While restoration for UDC has been a critical task, existing works of UDC restoration focus only on images. UDC video restoration (UDC-VR) has not been explored in the community. In this work, we first propose a GAN-based generation pipeline to simulate the realistic UDC degradation process. With the pipeline, we build the first large-scale UDC video restoration dataset called PexelsUDC, which includes two subsets named PexelsUDC-T and PexelsUDC-P corresponding to different displays for UDC. Using the proposed dataset, we conduct extensive benchmark studies on existing video restoration methods and observe their limitations on the UDC-VR task. To this end, we propose a novel transformer-based baseline method that adaptively enhances degraded videos. The key components of the method are a spatial branch with local-aware transformers, a temporal branch embedded temporal transformers, and a spatial-temporal fusion module. These components drive the model to fully exploit spatial and temporal information for UDC-VR. Extensive experiments show that our method achieves state-of-the-art performance on PexelsUDC. The benchmark and the baseline method are expected to promote the progress of UDC-VR in the community, which will be made public.
• Abstract（参考訳）: under-display camera (udc) で撮影された画像やビデオは飽和変性やカラーシフトなどの深刻な劣化に苦しむ。 UDCの修復は重要な課題であるが、既存のUDCの修復作業は画像のみに焦点を当てている。 UDCビデオ復元(UDC-VR)は、コミュニティでは行われていない。 本稿では,まず,実効的な直流劣化過程をシミュレートするgan型生成パイプラインを提案する。 このパイプラインでは,pexelsudc-t と pexelsudc-p という2つのサブセットと,udc の異なるディスプレイに対応する2つのサブセットを含む,pexelsudc という,最初の大規模udcビデオ復元データセットを構築した。 提案したデータセットを用いて,既存の映像復元手法の広範なベンチマークを行い,その限界をUDC-VRタスクで観測する。 そこで本研究では,劣化映像を適応的に高めるトランスベースライン手法を提案する。 この手法の鍵となる構成要素は、局所認識変換器を備えた空間分岐、時間分岐埋め込み時間変換器、時空間融合モジュールである。 これらのコンポーネントはモデルを駆動し、UDC-VRの空間的および時間的情報を完全に活用する。 本手法はPexelsUDC上での最先端性能を実現する。 ベンチマークとベースライン手法は,コミュニティにおけるUDC-VRの進展を促進することが期待されている。

関連論文リスト

• Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
  ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。 不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。 伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
  論文  参考訳（メタデータ） (2024-04-06T22:08:20Z)
• Segmentation Guided Sparse Transformer for Under-Display Camera Image Restoration [91.65248635837145]
  Under-Display Camera(UDC)は、ディスプレイパネルの下にカメラを隠してフルスクリーン表示を実現する新興技術である。 本稿では,UDC 画像復元に Vision Transformer を用いることで,大量の冗長情報やノイズを大域的注目度で検出する。 UDC劣化画像から高品質な画像を復元するためのガイドスパース変換器(SGSFormer)を提案する。
  論文  参考訳（メタデータ） (2024-03-09T13:11:59Z)
• Blind Face Restoration for Under-Display Camera via Dictionary Guided Transformer [32.06570655576273]
  Under-Display Camera (UDC)は、前面カメラをディスプレイパネルの下に隠してフルスクリーン体験を提供する。 UDC画像はディスプレイの特性によって著しく画質が劣化する。 UDC-DMNetと呼ばれる2段階のUDC分解モデルネットワークを提案し、UDCイメージングの過程をモデル化してUDC画像を合成する。
  論文  参考訳（メタデータ） (2023-08-20T08:02:23Z)
• Generating Aligned Pseudo-Supervision from Non-Aligned Data for Image Restoration in Under-Display Camera [84.41316720913785]
  トレーニングデータ収集のための古典的なステレオセットアップを再考する -- 同じシーンの2つの画像を1つのUDCと1つの標準カメラでキャプチャする。 鍵となるアイデアは、高品質な参照イメージから詳細を"コピー"し、UDCイメージ上でそれらを"ペースト"することです。 トランスフォーマーベースの新しいフレームワークは、対応するUDC入力に対して、整合性はあるが高品質なターゲットデータを生成する。
  論文  参考訳（メタデータ） (2023-04-12T17:56:42Z)
• Modular Degradation Simulation and Restoration for Under-Display Camera [21.048590332029995]
  ディスプレイ下カメラ(UDC)はフルスクリーンスマートフォンにエレガントなソリューションを提供する。 UDCが撮影した画像は、センサーがディスプレイの下に置かれているため、深刻な劣化に悩まされている。 UDC画像のシミュレーションにGAN(Generative Adversarial Network)フレームワークを用いたMPGNetと呼ばれるモジュラーネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-23T07:36:07Z)
• UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network [13.406025621307132]
  Under-Display Camera(UDC)は、スマートフォンがフルスクリーンディスプレイを実現するのを助けるために広く利用されている。 スクリーンは必然的に光伝播プロセスに影響を与えるため、UDCシステムによって撮影された画像にはフレア、ヘイズ、ぼかし、ノイズが含まれている。 本稿では、HDRシーンにおける既知のポイントスプレッド機能(PSF)を用いて、UDC画像復元問題に対処する新しいディープモデル、UDC-UNetを提案する。
  論文  参考訳（メタデータ） (2022-09-05T07:41:44Z)
• Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
  圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
  論文  参考訳（メタデータ） (2022-05-20T11:37:44Z)
• Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network [80.67717076541956]
  アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。 典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。 本研究では,前述の劣化問題の解析と対処を目的とする。
  論文  参考訳（メタデータ） (2021-04-19T18:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。