論文の概要: SGDFormer: One-stage Transformer-based Architecture for Cross-Spectral Stereo Image Guided Denoising
- arxiv url: http://arxiv.org/abs/2404.00349v1
- Date: Sat, 30 Mar 2024 12:55:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 04:20:25.927958
- Title: SGDFormer: One-stage Transformer-based Architecture for Cross-Spectral Stereo Image Guided Denoising
- Title（参考訳）: SGDFormer: クロススペクトルステレオ画像案内用ワンステージトランスフォーマーベースアーキテクチャ
- Authors: Runmin Zhang, Zhu Yu, Zehua Sheng, Jiacheng Ying, Si-Yuan Cao, Shu-Jie Chen, Bailin Yang, Junwei Li, Hui-Liang Shen,
- Abstract要約: 本稿では,SGDFormer というワンステージトランスフォーマベースアーキテクチャを提案する。
我々の変圧器ブロックは、ノイズロストクロスアテンション(NRCA)モジュールと空間変化型特徴融合(SVFF)モジュールを含む。
SGDFormerは、上記の設計により、微細な構造でアーチファクトフリーなイメージを復元し、さまざまなデータセット上で最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 11.776198596143931
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-spectral image guided denoising has shown its great potential in recovering clean images with rich details, such as using the near-infrared image to guide the denoising process of the visible one. To obtain such image pairs, a feasible and economical way is to employ a stereo system, which is widely used on mobile devices. Current works attempt to generate an aligned guidance image to handle the disparity between two images. However, due to occlusion, spectral differences and noise degradation, the aligned guidance image generally exists ghosting and artifacts, leading to an unsatisfactory denoised result. To address this issue, we propose a one-stage transformer-based architecture, named SGDFormer, for cross-spectral Stereo image Guided Denoising. The architecture integrates the correspondence modeling and feature fusion of stereo images into a unified network. Our transformer block contains a noise-robust cross-attention (NRCA) module and a spatially variant feature fusion (SVFF) module. The NRCA module captures the long-range correspondence of two images in a coarse-to-fine manner to alleviate the interference of noise. The SVFF module further enhances salient structures and suppresses harmful artifacts through dynamically selecting useful information. Thanks to the above design, our SGDFormer can restore artifact-free images with fine structures, and achieves state-of-the-art performance on various datasets. Additionally, our SGDFormer can be extended to handle other unaligned cross-model guided restoration tasks such as guided depth super-resolution.
- Abstract（参考訳）: 可視光を誘導するクロススペクトル画像は、近赤外画像を用いて可視光の遮音過程を案内するなど、鮮明な画像をリッチなディテールで復元する大きな可能性を示している。
このような画像対を得るには、モバイルデバイスで広く使われているステレオシステムを利用することが実現可能で経済的方法である。
現在の作業では、2つの画像間の格差を処理するために、アライメントされたガイダンス画像の生成を試みる。
しかし, 咬合, スペクトル差, ノイズ劣化などにより, 一致した誘導画像は一般にゴーストやアーティファクトが存在するため, 不満足な判断結果となる。
そこで本稿では,SGDFormer という一段トランスフォーマベースアーキテクチャを,クロススペクトルステレオ画像ガイドデノイングのためのアーキテクチャとして提案する。
このアーキテクチャは、ステレオ画像の対応モデリングと特徴融合を統合ネットワークに統合する。
我々の変圧器ブロックは、ノイズロストクロスアテンション(NRCA)モジュールと空間変化型特徴融合(SVFF)モジュールを含む。
NRCAモジュールは、ノイズの干渉を軽減するために、2つの画像の長距離対応を粗い方法でキャプチャする。
SVFFモジュールは、より健全な構造を強化し、有用な情報を動的に選択することで有害なアーティファクトを抑制する。
SGDFormerは、上記の設計により、微細な構造でアーチファクトフリーなイメージを復元し、さまざまなデータセット上で最先端のパフォーマンスを実現する。
さらに、我々のSGDFormerは、ガイドされた深度超解像のような他の非整合のクロスモデルガイド付き復元タスクを扱うように拡張できる。
関連論文リスト
- Segmentation Guided Sparse Transformer for Under-Display Camera Image
Restoration [91.65248635837145]
Under-Display Camera(UDC)は、ディスプレイパネルの下にカメラを隠してフルスクリーン表示を実現する新興技術である。
本稿では,UDC 画像復元に Vision Transformer を用いることで,大量の冗長情報やノイズを大域的注目度で検出する。
UDC劣化画像から高品質な画像を復元するためのガイドスパース変換器(SGSFormer)を提案する。
論文 参考訳（メタデータ） (2024-03-09T13:11:59Z) - DestripeCycleGAN: Stripe Simulation CycleGAN for Unsupervised Infrared
Image Destriping [15.797480466799222]
CycleGANは、教師なし画像復元の先進的なアプローチであることが証明されている。
DestripeCycleGANという単一フレーム赤外線画像デストリップのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-14T11:22:20Z) - Low-light Stereo Image Enhancement and De-noising in the Low-frequency
Information Enhanced Image Space [5.1569866461097185]
同時に高音化・低音化を行う手法が提案されている。
低周波情報拡張モジュール (IEM) は雑音を抑え, 新たな画像空間を創出するために提案される。
長距離空間依存を符号化するために,チャネル間および空間コンテキスト情報マイニングモジュール(CSM)を提案する。
エンコーダ-デコーダ構造が構築され、クロスビューとクロススケールな特徴相互作用が組み込まれている。
論文 参考訳（メタデータ） (2024-01-15T15:03:32Z) - A cross Transformer for image denoising [83.68175077524111]
直列ブロック(SB)、並列ブロック(PB)、残留ブロック(RB)を備えたクロストランスフォーマー(CTNet)を提案する。
CTNetは、実画像や合成画像のデノナイジングにおいて、一般的なデノナイジング法よりも優れている。
論文 参考訳（メタデータ） (2023-10-16T13:53:19Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳（メタデータ） (2023-09-18T11:06:42Z) - DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。
DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。
第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。
第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:11:52Z) - EDICT: Exact Diffusion Inversion via Coupled Transformations [13.996171129586731]
拡散過程(反転と呼ばれる)に入力画像を生成する初期ノイズベクトルを見つけることは重要な問題である。
本稿では,アフィン結合層からインスピレーションを得るための逆変換法であるEDICT(Exact Diffusion Inversion)を提案する。
EDICTは、2つの結合ノイズベクトルを維持することにより、実画像とモデル生成画像の数学的に正確な逆変換を可能にする。
論文 参考訳（メタデータ） (2022-11-22T18:02:49Z) - Learning Parallax Transformer Network for Stereo Image JPEG Artifacts
Removal [17.289890973937318]
ステレオ設定では、第2のビューで提供される追加情報を活用することにより、画像JPEGアーティファクト削除のパフォーマンスをさらに向上することができる。
ステレオ画像JPEGアーティファクト除去のためのステレオ画像ペアからの情報を統合するための新しいパララックストランスフォーマーネットワーク(PTNet)を提案する。
論文 参考訳（メタデータ） (2022-07-15T08:21:53Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳（メタデータ） (2022-05-24T07:51:57Z) - Reconstructing the Noise Manifold for Image Denoising [56.562855317536396]
本稿では,画像ノイズ空間の構造を明示的に活用するcGANを提案する。
画像ノイズの低次元多様体を直接学習することにより、この多様体にまたがる情報のみをノイズ画像から除去する。
我々の実験に基づいて、我々のモデルは既存の最先端アーキテクチャを大幅に上回っている。
論文 参考訳（メタデータ） (2020-02-11T00:31:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。