論文の概要: Modular Degradation Simulation and Restoration for Under-Display Camera

• arxiv url: http://arxiv.org/abs/2209.11455v1
• Date: Fri, 23 Sep 2022 07:36:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 17:17:35.387922
• Title: Modular Degradation Simulation and Restoration for Under-Display Camera
• Title（参考訳）: モジュラー劣化シミュレーションとアンダーディスプレイカメラの復元
• Authors: Yang Zhou, Yuda Song, Xin Du
• Abstract要約: ディスプレイ下カメラ(UDC)はフルスクリーンスマートフォンにエレガントなソリューションを提供する。 UDCが撮影した画像は、センサーがディスプレイの下に置かれているため、深刻な劣化に悩まされている。 UDC画像のシミュレーションにGAN(Generative Adversarial Network)フレームワークを用いたMPGNetと呼ばれるモジュラーネットワークを提案する。
• 参考スコア（独自算出の注目度）: 21.048590332029995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under-display camera (UDC) provides an elegant solution for full-screen smartphones. However, UDC captured images suffer from severe degradation since sensors lie under the display. Although this issue can be tackled by image restoration networks, these networks require large-scale image pairs for training. To this end, we propose a modular network dubbed MPGNet trained using the generative adversarial network (GAN) framework for simulating UDC imaging. Specifically, we note that the UDC imaging degradation process contains brightness attenuation, blurring, and noise corruption. Thus we model each degradation with a characteristic-related modular network, and all modular networks are cascaded to form the generator. Together with a pixel-wise discriminator and supervised loss, we can train the generator to simulate the UDC imaging degradation process. Furthermore, we present a Transformer-style network named DWFormer for UDC image restoration. For practical purposes, we use depth-wise convolution instead of the multi-head self-attention to aggregate local spatial information. Moreover, we propose a novel channel attention module to aggregate global information, which is critical for brightness recovery. We conduct evaluations on the UDC benchmark, and our method surpasses the previous state-of-the-art models by 1.23 dB on the P-OLED track and 0.71 dB on the T-OLED track, respectively.
• Abstract（参考訳）: ディスプレイ下カメラ(UDC)はフルスクリーンスマートフォンにエレガントなソリューションを提供する。 しかし、udcが捉えた画像は、センサーがディスプレイの下に置かれているため、深刻な劣化に苦しむ。 この問題は画像復元ネットワークによって解決できるが、これらのネットワークはトレーニングのために大規模な画像ペアを必要とする。 そこで本研究では,UDCイメージングのシミュレーションにGAN(Generative Adversarial Network)フレームワークを用いたMPGNetと呼ばれるモジュールネットワークを提案する。 具体的には、UDC画像劣化プロセスには、輝度減衰、ぼかし、ノイズ劣化が含まれる。 したがって、各分解を特性関連モジュラーネットワークでモデル化し、全てのモジュラーネットワークをカスケードして生成器を形成する。 画素方向の判別器と教師付き損失を組み合わせることで,uccイメージング劣化過程をシミュレートする発電機を訓練することができる。 さらに,UDC画像復元のためのトランスフォーマー型ネットワークDWFormerを提案する。 実用上,局所空間情報を集約するマルチヘッドセルフアテンションに代えて,奥行き方向畳み込みを用いる。 また,明るさ回復に重要なグローバル情報を集約する新しいチャネルアテンションモジュールを提案する。 提案手法は, P-OLEDトラックでは1.23dB, T-OLEDトラックでは0.71dB, 従来の最先端モデルでは0。

関連論文リスト

• Segmentation Guided Sparse Transformer for Under-Display Camera Image Restoration [91.65248635837145]
  Under-Display Camera(UDC)は、ディスプレイパネルの下にカメラを隠してフルスクリーン表示を実現する新興技術である。 本稿では,UDC 画像復元に Vision Transformer を用いることで,大量の冗長情報やノイズを大域的注目度で検出する。 UDC劣化画像から高品質な画像を復元するためのガイドスパース変換器(SGSFormer)を提案する。
  論文  参考訳（メタデータ） (2024-03-09T13:11:59Z)
• AoSRNet: All-in-One Scene Recovery Networks via Multi-knowledge Integration [17.070755601209136]
  マルチ知識統合によるオールインワンシーン復元ネットワーク(AoSRNet)を提案する。 ガンマ補正(GC)と最適化線形ストレッチ(OLS)を組み合わせてディテール拡張モジュール(DEM)とカラー復元モジュール(CRM)を作成する。 総合的な実験結果から,AoSRNetの有効性と安定性が他の最先端手法と比較された。
  論文  参考訳（メタデータ） (2024-02-06T06:12:03Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Deep Video Restoration for Under-Display Camera [98.17505013737446]
  本稿では,現実的な UDC 劣化過程をシミュレートする GAN ベースの生成パイプラインを提案する。 我々は PexelsUDC という,最初の大規模 UDC ビデオ復元データセットを構築した。 本稿では,動画の劣化を適応的に改善するトランスフォーマーベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T10:48:06Z)
• DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
  DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。 DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。 第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。 第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:11:52Z)
• Generating Aligned Pseudo-Supervision from Non-Aligned Data for Image Restoration in Under-Display Camera [84.41316720913785]
  トレーニングデータ収集のための古典的なステレオセットアップを再考する -- 同じシーンの2つの画像を1つのUDCと1つの標準カメラでキャプチャする。 鍵となるアイデアは、高品質な参照イメージから詳細を"コピー"し、UDCイメージ上でそれらを"ペースト"することです。 トランスフォーマーベースの新しいフレームワークは、対応するUDC入力に対して、整合性はあるが高品質なターゲットデータを生成する。
  論文  参考訳（メタデータ） (2023-04-12T17:56:42Z)
• UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network [13.406025621307132]
  Under-Display Camera(UDC)は、スマートフォンがフルスクリーンディスプレイを実現するのを助けるために広く利用されている。 スクリーンは必然的に光伝播プロセスに影響を与えるため、UDCシステムによって撮影された画像にはフレア、ヘイズ、ぼかし、ノイズが含まれている。 本稿では、HDRシーンにおける既知のポイントスプレッド機能(PSF)を用いて、UDC画像復元問題に対処する新しいディープモデル、UDC-UNetを提案する。
  論文  参考訳（メタデータ） (2022-09-05T07:41:44Z)
• Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network [80.67717076541956]
  アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。 典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。 本研究では,前述の劣化問題の解析と対処を目的とする。
  論文  参考訳（メタデータ） (2021-04-19T18:41:45Z)
• Deep Atrous Guided Filter for Image Restoration in Under Display Cameras [18.6418313982586]
  ディスプレイカメラの下では、カメラを半透明のOLEDスクリーンの後ろに配置することで、ベゼルのないディスプレイを実現することができる。 このようなイメージングシステムは、光の減衰と回折効果による画像劣化に悩まされる。 UDCシステムにおける画像復元のための2段階のエンド・ツー・エンドアプローチであるDeep Atrous Guided Filter(DAGF)を提案する。
  論文  参考訳（メタデータ） (2020-08-14T07:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。