論文の概要: Segmentation Guided Sparse Transformer for Under-Display Camera Image Restoration

• arxiv url: http://arxiv.org/abs/2403.05906v1
• Date: Sat, 9 Mar 2024 13:11:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 11:53:38.149800
• Title: Segmentation Guided Sparse Transformer for Under-Display Camera Image Restoration
• Title（参考訳）: 被表示カメラ画像復元のためのセグメンテーション誘導スパーストランス
• Authors: Jingyun Xue, Tao Wang, Jun Wang, Kaihao Zhang, Wenhan Luo, Wenqi Ren, Zikun Liu, Hyunhee Park, Xiaochun Cao
• Abstract要約: Under-Display Camera(UDC)は、ディスプレイパネルの下にカメラを隠してフルスクリーン表示を実現する新興技術である。 本稿では,UDC 画像復元に Vision Transformer を用いることで,大量の冗長情報やノイズを大域的注目度で検出する。 UDC劣化画像から高品質な画像を復元するためのガイドスパース変換器(SGSFormer)を提案する。
• 参考スコア（独自算出の注目度）: 91.65248635837145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under-Display Camera (UDC) is an emerging technology that achieves full-screen display via hiding the camera under the display panel. However, the current implementation of UDC causes serious degradation. The incident light required for camera imaging undergoes attenuation and diffraction when passing through the display panel, leading to various artifacts in UDC imaging. Presently, the prevailing UDC image restoration methods predominantly utilize convolutional neural network architectures, whereas Transformer-based methods have exhibited superior performance in the majority of image restoration tasks. This is attributed to the Transformer's capability to sample global features for the local reconstruction of images, thereby achieving high-quality image restoration. In this paper, we observe that when using the Vision Transformer for UDC degraded image restoration, the global attention samples a large amount of redundant information and noise. Furthermore, compared to the ordinary Transformer employing dense attention, the Transformer utilizing sparse attention can alleviate the adverse impact of redundant information and noise. Building upon this discovery, we propose a Segmentation Guided Sparse Transformer method (SGSFormer) for the task of restoring high-quality images from UDC degraded images. Specifically, we utilize sparse self-attention to filter out redundant information and noise, directing the model's attention to focus on the features more relevant to the degraded regions in need of reconstruction. Moreover, we integrate the instance segmentation map as prior information to guide the sparse self-attention in filtering and focusing on the correct regions.
• Abstract（参考訳）: Under-Display Camera(UDC)は、ディスプレイパネルの下にカメラを隠してフルスクリーン表示を実現する新興技術である。 しかし、現在のudcの実装は深刻な劣化を引き起こす。 カメラ撮像に必要な入射光は、ディスプレイパネルを通過する際の減衰と回折を受け、udcイメージングの様々なアーティファクトに繋がる。 現在、一般的なudc画像復元法は畳み込みニューラルネットワークアーキテクチャを主に活用しているが、トランスフォーマー方式は画像復元タスクのほとんどにおいて優れた性能を示している。 これはトランスフォーマーが局所的な画像再構成のためにグローバルな特徴をサンプリングし、高品質な画像復元を実現する能力に起因している。 本稿では,udc劣化画像復元に視覚トランスフォーマを用いた場合,大域的注意が多量の冗長情報とノイズをサンプリングする。 さらに,集中注意を用いた通常の変圧器と比較して,疎注意を用いた変圧器は冗長な情報やノイズの悪影響を軽減することができる。 そこで本研究では,udc劣化画像から高品質画像の復元を行うためのセグメント化誘導スパーストランスフォーマ(sgsformer)を提案する。 具体的には,冗長な情報やノイズをフィルタリングするためにスパース・セルフ・アテンション(sparse self-attention)を利用し,モデルが注意を向けることにより,復元の必要な劣化した領域に関連する特徴に焦点をあてる。 さらに, インスタンス分割マップを事前情報として統合し, フィルタリングにおけるスパース自己意識を導出し, 適切な領域に焦点を当てる。

関連論文リスト

• IPT-V2: Efficient Image Processing Transformer using Hierarchical Attentions [26.09373405194564]
  我々は,IPTV2と呼ばれる階層的な注意を払って,効率的な画像処理トランスフォーマアーキテクチャを提案する。 我々は、局所的およびグローバルな受容領域における適切なトークン相互作用を得るために、焦点コンテキスト自己注意(FCSA)とグローバルグリッド自己注意(GGSA)を採用する。 提案した IPT-V2 は,様々な画像処理タスクにおいて,デノナイズ,デブロアリング,デコライニングを網羅し,従来の手法よりも性能と計算の複雑さのトレードオフを得る。
  論文  参考訳（メタデータ） (2024-03-31T10:01:20Z)
• Image Reconstruction using Enhanced Vision Transformer [0.08594140167290097]
  画像のデノイング,デブロアリング,インペイントといったタスクに使用できる新しい画像再構成フレームワークを提案する。 このプロジェクトで提案されるモデルは、2次元画像を入力として取り込んで埋め込みを出力するビジョントランスフォーマー(ViT)に基づいている。 モデル再構築機能を改善するために,フレームワークに4つの最適化手法を組み込んだ。
  論文  参考訳（メタデータ） (2023-07-11T02:14:18Z)
• Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
  我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。 得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。 特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
  論文  参考訳（メタデータ） (2023-03-24T14:14:25Z)
• Recursive Generalization Transformer for Image Super-Resolution [108.67898547357127]
  本稿では,大域空間情報を捕捉し,高分解能画像に適した画像SRのための再帰一般化変換器(RGT)を提案する。 我々は,RG-SAと局所的自己意識を組み合わせることで,グローバルな文脈の活用を促進する。 我々のRGTは最近の最先端の手法よりも定量的に質的に優れている。
  論文  参考訳（メタデータ） (2023-03-11T10:44:44Z)
• Modular Degradation Simulation and Restoration for Under-Display Camera [21.048590332029995]
  ディスプレイ下カメラ(UDC)はフルスクリーンスマートフォンにエレガントなソリューションを提供する。 UDCが撮影した画像は、センサーがディスプレイの下に置かれているため、深刻な劣化に悩まされている。 UDC画像のシミュレーションにGAN(Generative Adversarial Network)フレームワークを用いたMPGNetと呼ばれるモジュラーネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-23T07:36:07Z)
• UDC-UNet: Under-Display Camera Image Restoration via U-Shape Dynamic Network [13.406025621307132]
  Under-Display Camera(UDC)は、スマートフォンがフルスクリーンディスプレイを実現するのを助けるために広く利用されている。 スクリーンは必然的に光伝播プロセスに影響を与えるため、UDCシステムによって撮影された画像にはフレア、ヘイズ、ぼかし、ノイズが含まれている。 本稿では、HDRシーンにおける既知のポイントスプレッド機能(PSF)を用いて、UDC画像復元問題に対処する新しいディープモデル、UDC-UNetを提案する。
  論文  参考訳（メタデータ） (2022-09-05T07:41:44Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)
• PPT Fusion: Pyramid Patch Transformerfor a Case Study in Image Fusion [37.993611194758195]
  画像から意味情報を抽出する問題に対処するため,Patch Pyramid Transformer(PPT)を提案する。 実験により, 現状の核融合法に対して優れた性能を示した。
  論文  参考訳（メタデータ） (2021-07-29T13:57:45Z)
• Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic Skip Connection Network [80.67717076541956]
  アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。 典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。 本研究では,前述の劣化問題の解析と対処を目的とする。
  論文  参考訳（メタデータ） (2021-04-19T18:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。