論文の概要: Towards an Effective and Efficient Transformer for Rain-by-snow Weather Removal

• arxiv url: http://arxiv.org/abs/2304.02860v2
• Date: Fri, 27 Oct 2023 09:45:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 18:33:36.908650
• Title: Towards an Effective and Efficient Transformer for Rain-by-snow Weather Removal
• Title（参考訳）: 降雨・降雨・降雨用変圧器の効率化に向けて
• Authors: Tao Gao, Yuanbo Wen, Kaihao Zhang, Peng Cheng, and Ting Chen
• Abstract要約: 降雨による除雪は、降雪や降雪の粒子を除去することを目的とした、気象劣化画像復元の特別課題である。 本稿では,この課題に対処する効率的かつ効率的な変換器であるRSFormerを提案する。 RSFormerは、他の復元方法と比較して、パフォーマンスと時間消費の最良のトレードオフを達成する。
• 参考スコア（独自算出の注目度）: 23.224536745724077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rain-by-snow weather removal is a specialized task in weather-degraded image restoration aiming to eliminate coexisting rain streaks and snow particles. In this paper, we propose RSFormer, an efficient and effective Transformer that addresses this challenge. Initially, we explore the proximity of convolution networks (ConvNets) and vision Transformers (ViTs) in hierarchical architectures and experimentally find they perform approximately at intra-stage feature learning. On this basis, we utilize a Transformer-like convolution block (TCB) that replaces the computationally expensive self-attention while preserving attention characteristics for adapting to input content. We also demonstrate that cross-stage progression is critical for performance improvement, and propose a global-local self-attention sampling mechanism (GLASM) that down-/up-samples features while capturing both global and local dependencies. Finally, we synthesize two novel rain-by-snow datasets, RSCityScape and RS100K, to evaluate our proposed RSFormer. Extensive experiments verify that RSFormer achieves the best trade-off between performance and time-consumption compared to other restoration methods. For instance, it outperforms Restormer with a 1.53% reduction in the number of parameters and a 15.6% reduction in inference time. Datasets, source code and pre-trained models are available at \url{https://github.com/chdwyb/RSFormer}.
• Abstract（参考訳）: 降雨による除雪は、降雨と雪粒子の共存を解消することを目的とした、気象劣化画像復元の専門分野である。 本稿では,この課題に対処する効率的な変換器であるRSFormerを提案する。 まず,階層的アーキテクチャにおける畳み込みネットワーク (convnets) と視覚トランスフォーマー (vits) の近接について検討し,ステージ内特徴学習における性能について実験的に検討した。 そこで我々は,Transformerライクな畳み込みブロック(TCB)を用いて,入力コンテンツに適応するための注意特性を保ちながら,計算コストのかかる自己アテンションを置き換える。 また,クロスステージ進行がパフォーマンス向上に不可欠であることを実証し,グローバル依存とローカル依存の両方を捉えつつ,機能をダウン/アップサンプリングするグローバルローカルセルフアテンションサンプリング機構(glasm)を提案する。 最後に、提案したRSFormerを評価するために、2つの新しい雨季データセットRSCityScapeとRS100Kを合成する。 RSFormerは、他の修復方法と比較して、パフォーマンスと時間消費の最良のトレードオフを実現する。 例えば、パラメータ数を1.53%削減し、推論時間を15.6%削減することで、restormerを上回っている。 データセット、ソースコード、事前訓練されたモデルは、 \url{https://github.com/chdwyb/RSFormer} で入手できる。

関連論文リスト

• Adaptive Random Fourier Features Training Stabilized By Resampling With Applications in Image Regression [0.8947831206263182]
  浅層ニューラルネットワークのための適応型ランダムフーリエ(ARFF)訓練アルゴリズムを提案する。 本手法は, 粒子フィルタ型再サンプリング技術を用いて, トレーニングプロセスの安定化とパラメータ選択に対する感度の低減を図る。
  論文  参考訳（メタデータ） (2024-10-08T22:08:03Z)
• Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining [47.15857899099733]
  高品質な画像再構成を実現するために,エンド・ツー・エンドのマルチスケールトランスを開発した。 クローズドループ設計において、劣化した入力を持つ画素座標に基づいて、スケール内の暗黙的ニューラル表現を組み込む。 我々のアプローチはNeRD-Rainと呼ばれ、合成および実世界のベンチマークデータセットにおいて最先端のアプローチに対して好意的に実行されます。
  論文  参考訳（メタデータ） (2024-04-02T01:18:16Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Dynamic PlenOctree for Adaptive Sampling Refinement in Explicit NeRF [6.135925201075925]
  PlenOctree DOTは,シーンの複雑さの変化に対応するために,サンプル分布を適応的に改良する。 POTと比較して、私たちのDOTは視覚的品質を高め、パラメータを55.15ドル/68.84%以上削減し、NeRF合成とタンクにそれぞれ1.7/1.9 FPSを提供する。
  論文  参考訳（メタデータ） (2023-07-28T06:21:42Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Self Sparse Generative Adversarial Networks [73.590634413751]
  GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。 本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
  論文  参考訳（メタデータ） (2021-01-26T04:49:12Z)
• From Rain Generation to Rain Removal [67.71728610434698]
  雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。 降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。 総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
  論文  参考訳（メタデータ） (2020-08-08T18:56:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。