論文の概要: SnowFormer: Scale-aware Transformer via Context Interaction for Single
Image Desnowing
- arxiv url: http://arxiv.org/abs/2208.09703v2
- Date: Tue, 23 Aug 2022 06:16:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 10:41:29.037426
- Title: SnowFormer: Scale-aware Transformer via Context Interaction for Single
Image Desnowing
- Title（参考訳）: SnowFormer: 単一画像認識のためのコンテキストインタラクションによるスケール対応トランス
- Authors: Sixiang Chen, Tian Ye, Yun Liu, Erkang Chen, Jun Shi, Jingchun Zhou
- Abstract要約: 本研究では,SnowFormerと呼ばれる強力なアーキテクチャを提案する。
エンコーダでスケール対応の特徴集約を行い、様々な劣化の豊富な雪情報をキャプチャする。
また、デコーダに新しいコンテキストインタラクショントランスフォーマーブロック(Context Interaction Transformer Block)を使用し、ローカル詳細とグローバル情報のコンテキストインタラクションを実行する。
- 参考スコア（独自算出の注目度）: 9.747362856056162
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single image desnowing is a common yet challenging task. The complex snow
degradations and diverse degradation scales demand strong representation
ability. In order for the desnowing network to see various snow degradations
and model the context interaction of local details and global information, we
propose a powerful architecture dubbed as SnowFormer. First, it performs
Scale-aware Feature Aggregation in the encoder to capture rich snow information
of various degradations. Second, in order to tackle with large-scale
degradation, it uses a novel Context Interaction Transformer Block in the
decoder, which conducts context interaction of local details and global
information from previous scale-aware feature aggregation in global context
interaction. And the introduction of local context interaction improves
recovery of scene details. Third, we devise a Heterogeneous Feature Projection
Head which progressively fuse features from both the encoder and decoder and
project the refined feature into the clean image. Extensive experiments
demonstrate that the proposed SnowFormer achieves significant improvements over
other SOTA methods. Compared with SOTA single image desnowing method HDCW-Net,
it boosts the PSNR metric by 9.2dB on the CSD testset. Moreover, it also
achieves a 5.13dB increase in PSNR compared with general image restoration
architecture NAFNet, which verifies the strong representation ability of our
SnowFormer for snow removal task. The code is released in
\url{https://github.com/Ephemeral182/SnowFormer}.
- Abstract（参考訳）: 単一のイメージ認識は一般的だが難しい課題である。
複雑な積雪の劣化と多様な劣化は強い表現能力を必要とする。
降雪ネットワークが様々な雪の劣化を観測し,局所的な詳細情報とグローバル情報の相互作用をモデル化するために,SnowFormerと呼ばれる強力なアーキテクチャを提案する。
まず、エンコーダにスケールアウェア機能アグリゲーションを行い、様々な劣化の豊富な雪情報をキャプチャする。
第二に、大規模な劣化に対処するために、デコーダに新しいコンテキストインタラクショントランスフォーマブロックを使用し、グローバルコンテキストインタラクションにおいて、以前のスケールアウェア機能アグリゲーションから、ローカル詳細とグローバル情報のコンテキストインタラクションを実行する。
ローカルコンテキストインタラクションの導入によって,シーン詳細の回復が向上する。
第3に、エンコーダとデコーダの両方から徐々に特徴を融合させ、洗練された特徴をクリーンイメージに投影する異種特徴投影ヘッドを考案する。
広範囲にわたる実験により,提案手法は他のsota法に比べて大きな改善が得られた。
SOTA単一画像認識方式のHDCW-Netと比較すると、PSNRはCSDテストセットで9.2dB向上する。
さらに,除雪作業におけるSnowFormerの強力な表現能力を検証した一般画像復元アーキテクチャNAFNetと比較して,PSNRの5.13dB向上を実現している。
コードは \url{https://github.com/Ephemeral182/SnowFormer} でリリースされる。
関連論文リスト
- Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。
具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。
さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
論文 参考訳（メタデータ） (2024-03-30T08:05:00Z) - A Heterogeneous Dynamic Convolutional Neural Network for Image
Super-resolution [111.97970576223622]
画像超解像(HDSRNet)における異種動的畳み込みネットワークを提案する。
下位のネットワークは対称アーキテクチャを使用して、異なるレイヤの関係を強化し、より構造的な情報をマイニングする。
実験結果から,HDSRNetは画像解決に有効であることが示唆された。
論文 参考訳（メタデータ） (2024-02-24T03:44:06Z) - Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳（メタデータ） (2023-12-24T08:42:37Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。
本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。
我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-09-11T05:17:55Z) - A Mountain-Shaped Single-Stage Network for Accurate Image Restoration [9.431709365739462]
画像復元においては、通常、空間的詳細と文脈情報の複雑なバランスを維持する必要がある。
不要な非線形活性化関数を除去または置換する,単純なU-Netアーキテクチャに基づく単一ステージ設計ベースを提案する。
我々のアプローチはM3SNetと呼ばれ、従来の最先端モデルよりも性能が優れており、計算コストの半分以下である。
論文 参考訳（メタデータ） (2023-05-09T03:18:35Z) - Star-Net: Improving Single Image Desnowing Model With More Efficient
Connection and Diverse Feature Interaction [0.8602553195689513]
本稿では,Star-Netと呼ばれる新しい単一画像認識ネットワークを提案する。
まず、スター型スキップ接続(SSC)を設計し、全ての異なる機能のための情報チャネルを確立する。
第2に、Star-NetのベースモジュールとしてMulti-Stage Interactive Transformer(MIT)を提案する。
第3に, 積雪粒子と積雪霧を除去するデジネートフィルタモジュール (DFM) を提案する。
論文 参考訳（メタデータ） (2023-03-17T14:03:49Z) - MSP-Former: Multi-Scale Projection Transformer for Single Image
Desnowing [6.22867695581195]
1枚の画像から雪を除去する作業に視覚変換器を適用した。
チャネルに沿って分割された並列ネットワークアーキテクチャを提案し、局所的な特徴改善とグローバルな情報モデリングを別々に行う。
実験では,本手法の優位性を示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-07-12T15:44:07Z) - Towards Real-time High-Definition Image Snow Removal: Efficient Pyramid
Network with Asymmetrical Encoder-decoder Architecture [6.682410871522934]
リアルタイムHD画像認識のための非対称エンコーダデコーダアーキテクチャを用いた高効率ピラミッドネットワークを開発した。
提案手法は,HDおよびUltra-HD画像の処理困難を効果的に処理し,より複雑な処理性能のトレードオフを実現する。
論文 参考訳（メタデータ） (2022-07-12T15:18:41Z) - Deep Dense Multi-scale Network for Snow Removal Using Semantic and
Geometric Priors [78.61844008368587]
本研究では, 積雪除去のための深度多スケールネットワーク (textbfDDMSNet) を提案する。
セマンティクスマップと幾何マップを入力として取り入れ,セマンティクス・アウェア表現と幾何アウェア表現を学習して雪を取り除く。
論文 参考訳（メタデータ） (2021-03-21T03:30:30Z) - Multi-Stage Progressive Image Restoration [167.6852235432918]
本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。
本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。
MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2021-02-04T18:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。