論文の概要: Integrating Spatial and Frequency Information for Under-Display Camera Image Restoration
- arxiv url: http://arxiv.org/abs/2501.18517v1
- Date: Thu, 30 Jan 2025 17:30:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:14:53.611627
- Title: Integrating Spatial and Frequency Information for Under-Display Camera Image Restoration
- Title（参考訳）: 映像再生のための空間情報と周波数情報の統合
- Authors: Kyusu Ahn, Jinpyo Kim, Chanwoo Park, JiSoo Kim, Jaejin Lee,
- Abstract要約: Under-Display Camera (UDC) はデジタルカメラのレンズをディスプレイパネルの下に収納する。
UDCはノイズ、ブラー、透過率の低下、フレアなどの複雑な劣化を導入する。
UDC歪み画像の復元のために,SFIMと呼ばれる新しいマルチレベルアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 5.696863540133448
- License:
- Abstract: Under-Display Camera (UDC) houses a digital camera lens under a display panel. However, UDC introduces complex degradations such as noise, blur, decrease in transmittance, and flare. Despite the remarkable progress, previous research on UDC mainly focuses on eliminating diffraction in the spatial domain and rarely explores its potential in the frequency domain. It is essential to consider both the spatial and frequency domains effectively. For example, degradations, such as noise and blur, can be addressed by local information (e.g., CNN kernels in the spatial domain). At the same time, tackling flares may require leveraging global information (e.g., the frequency domain). In this paper, we revisit the UDC degradations in the Fourier space and figure out intrinsic frequency priors that imply the presence of the flares. Based on this observation, we propose a novel multi-level DNN architecture called SFIM. It efficiently restores UDC-distorted images by integrating local and global (the collective contribution of all points in the image) information. The architecture exploits CNNs to capture local information and FFT-based models to capture global information. SFIM comprises a spatial domain block (SDB), a Frequency Domain Block (FDB), and an Attention-based Multi-level Integration Block (AMIB). Specifically, SDB focuses more on detailed textures such as noise and blur, FDB emphasizes irregular texture loss in extensive areas such as flare, and AMIB enables effective cross-domain interaction. SFIM's superior performance over state-of-the-art approaches is demonstrated through rigorous quantitative and qualitative assessments across three UDC benchmarks.
- Abstract（参考訳）: Under-Display Camera (UDC) はデジタルカメラのレンズをディスプレイパネルの下に収納する。
しかし、UDCはノイズ、ブラー、透過率の低下、フレアなどの複雑な劣化をもたらす。
顕著な進歩にもかかわらず、UDCの以前の研究は主に空間領域における回折の除去に焦点を当てており、周波数領域におけるそのポテンシャルを探求することはめったにない。
空間領域と周波数領域の両方を効果的に考慮することが不可欠である。
例えば、ノイズやぼやけなどの劣化は、ローカル情報(例えば、空間領域のCNNカーネル)によって対処できる。
同時に、フレアに対処するためには、グローバルな情報(例えば周波数領域)を活用する必要がある。
本稿では, フーリエ空間におけるUDC劣化について再検討し, フレアの存在を示唆する内在周波数を推定する。
そこで本研究では,SFIMと呼ばれる新しいマルチレベルDNNアーキテクチャを提案する。
ローカルおよびグローバル(画像中のすべての点の集合的寄与)情報を統合することにより、UDC歪んだ画像を効率よく復元する。
このアーキテクチャはCNNを利用してローカル情報とFFTベースのモデルをキャプチャし、グローバル情報をキャプチャする。
SFIMは、空間ドメインブロック(SDB)、周波数ドメインブロック(FDB)、およびアテンションベースのマルチレベル統合ブロック(AMIB)から構成される。
具体的には、SDBはノイズやぼやけなどの詳細なテクスチャをより重視し、FDBはフレアのような広い領域における不規則なテクスチャ損失を強調し、AMIBは効果的なドメイン間相互作用を可能にする。
SFIMの最先端のアプローチよりも優れた性能は、3つのUDCベンチマークの厳密な量的および質的な評価によって実証される。
関連論文リスト
- United Domain Cognition Network for Salient Object Detection in Optical Remote Sensing Images [21.76732661032257]
周波数領域と空間領域のグローバルローカル情報を共同で探索する新しい統一ドメイン認知ネットワーク(UDCNet)を提案する。
実験結果から提案したUDCNetが24種類の最先端モデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2024-11-11T04:12:27Z) - Frequency-Spatial Entanglement Learning for Camouflaged Object Detection [34.426297468968485]
既存の手法では、複雑な設計で空間的特徴の識別能力を最大化することにより、画素類似性の影響を減らそうとしている。
本稿では,周波数領域と空間領域の表現を共同で探索し,周波数空間の絡み合い学習(FSEL)手法を提案する。
我々の実験は、広く使われている3つのデータセットにおける包括的量的および質的比較を通じて、21以上の最先端手法によるFSELの優位性を実証した。
論文 参考訳（メタデータ） (2024-09-03T07:58:47Z) - Channel-Partitioned Windowed Attention And Frequency Learning for Single Image Super-Resolution [1.8506868409351092]
ウィンドウベースのアテンション手法は特にSingle Image Super-Resolution (SISR)においてコンピュータビジョンタスクに大きな可能性を示している。
特徴マップの高さと幅に沿ってウィンドウを逐次拡大することにより、長距離依存をよりよく捉えるために、チャネル分割型注意変換器(CPAT)を提案する。
さらに、空間・周波数相互作用モジュール(Spatial-Frequency Interaction Module, SFIM)を提案する。
論文 参考訳（メタデータ） (2024-07-23T07:17:10Z) - Emphasizing Crucial Features for Efficient Image Restoration [6.204240924744974]
画像復元のための様々な領域の劣化度に適応する枠組みを提案する。
具体的には、修復の重要な特徴を強調するために、空間的・周波数的注意機構(SFAM)を設計する。
また、上述のコンポーネントをU字型のバックボーンに統合して高品質な画像の復元を行うECFNetを提案する。
論文 参考訳（メタデータ） (2024-05-19T07:04:05Z) - FDCE-Net: Underwater Image Enhancement with Embedding Frequency and Dual Color Encoder [49.79611204954311]
水中画像は、低明度、色の変化、ぼやけた詳細、吸光光によるノイズ、水や懸濁粒子による散乱などの様々な問題に悩まされることが多い。
従来の水中画像強調法(UIE)は主に空間領域の強調に焦点を当てており、画像固有の周波数領域情報を無視している。
論文 参考訳（メタデータ） (2024-04-27T15:16:34Z) - Frequency Perception Network for Camouflaged Object Detection [51.26386921922031]
周波数領域のセマンティック階層によって駆動される新しい学習可能かつ分離可能な周波数知覚機構を提案する。
ネットワーク全体では、周波数誘導粗い局所化ステージと細部保存の微細局在化ステージを含む2段階モデルを採用している。
提案手法は,既存のモデルと比較して,3つのベンチマークデータセットにおいて競合性能を実現する。
論文 参考訳（メタデータ） (2023-08-17T11:30:46Z) - Spatial-Frequency U-Net for Denoising Diffusion Probabilistic Models [89.76587063609806]
画素空間の代わりにウェーブレット空間における拡散確率モデル(DDPM)を視覚合成のために検討した。
ウェーブレット信号を明示的にモデル化することで、我々のモデルは複数のデータセット上でより高品質な画像を生成することができる。
論文 参考訳（メタデータ） (2023-07-27T06:53:16Z) - Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
論文 参考訳（メタデータ） (2021-08-03T12:26:33Z) - Low Light Image Enhancement via Global and Local Context Modeling [164.85287246243956]
低照度画像強調のためのコンテキスト認識ディープネットワークを導入。
まず、全空間領域上の補完的な手がかりを見つけるために空間相関をモデル化するグローバルコンテキストモジュールを特徴とする。
第二に、比較的大きな受容フィールドで局所的なコンテキストをキャプチャする密な残留ブロックを導入する。
論文 参考訳（メタデータ） (2021-01-04T09:40:54Z) - Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。
監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。
ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
論文 参考訳（メタデータ） (2020-12-18T08:25:39Z) - Frequency Domain Image Translation: More Photo-realistic, Better
Identity-preserving [36.606114597585396]
本稿では,周波数情報を利用した新しい周波数領域画像翻訳フレームワークを提案する。
我々のキーとなる考え方は、画像を低周波および高周波の成分に分解することであり、そこでは、高周波の特徴がアイデンティティに似たオブジェクト構造をキャプチャする。
広汎な実験と改善により、FDITはソース画像のアイデンティティを効果的に保存し、フォトリアリスティック画像を生成する。
論文 参考訳（メタデータ） (2020-11-27T08:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。