論文の概要: Snow Mask Guided Adaptive Residual Network for Image Snow Removal
- arxiv url: http://arxiv.org/abs/2207.04754v1
- Date: Mon, 11 Jul 2022 10:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 14:52:27.432631
- Title: Snow Mask Guided Adaptive Residual Network for Image Snow Removal
- Title（参考訳）: イメージ除雪のためのスノーマスク誘導適応残雪ネットワーク
- Authors: Bodong Cheng, Juncheng Li, Ying Chen, Shuyi Zhang, Tieyong Zeng
- Abstract要約: 雪は、高レベルのコンピュータビジョンタスクのパフォーマンスに深刻な影響を与える非常に一般的な大気現象である。
SMGARN(Snow Mask Guided Adaptive Residual Network)を提案する。
Mask-Net、Guidance-Fusion Network (GF-Net)、Reconstruct-Netの3部で構成されている。
SMGARNは既存の除雪方法よりも数値的に優れており、再構成された画像は視覚的コントラストにおいてより鮮明である。
- 参考スコア（独自算出の注目度）: 21.228758052455273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image restoration under severe weather is a challenging task. Most of the
past works focused on removing rain and haze phenomena in images. However, snow
is also an extremely common atmospheric phenomenon that will seriously affect
the performance of high-level computer vision tasks, such as object detection
and semantic segmentation. Recently, some methods have been proposed for snow
removing, and most methods deal with snow images directly as the optimization
object. However, the distribution of snow location and shape is complex.
Therefore, failure to detect snowflakes / snow streak effectively will affect
snow removing and limit the model performance. To solve these issues, we
propose a Snow Mask Guided Adaptive Residual Network (SMGARN). Specifically,
SMGARN consists of three parts, Mask-Net, Guidance-Fusion Network (GF-Net), and
Reconstruct-Net. Firstly, we build a Mask-Net with Self-pixel Attention (SA)
and Cross-pixel Attention (CA) to capture the features of snowflakes and
accurately localized the location of the snow, thus predicting an accurate snow
mask. Secondly, the predicted snow mask is sent into the specially designed
GF-Net to adaptively guide the model to remove snow. Finally, an efficient
Reconstruct-Net is used to remove the veiling effect and correct the image to
reconstruct the final snow-free image. Extensive experiments show that our
SMGARN numerically outperforms all existing snow removal methods, and the
reconstructed images are clearer in visual contrast. All codes will be
available.
- Abstract（参考訳）: 厳しい天候下での画像復元は難しい作業です。
過去の作品の多くは、雨や風の現象を画像から除去することに焦点を当てていた。
しかし、雪は極めて一般的な大気現象であり、オブジェクト検出やセマンティクスセグメンテーションといった高レベルのコンピュータビジョンタスクのパフォーマンスに深刻な影響を与える。
近年,除雪法が提案され,ほとんどの手法が最適化対象として雪像を直接扱うようになっている。
しかし、雪の位置と形状の分布は複雑である。
したがって、雪片や雪片を効果的に検出できないことは、除雪やモデル性能の制限に影響を及ぼす。
これらの問題を解決するために,Snow Mask Guided Adaptive Residual Network (SMGARN)を提案する。
具体的には, Mask-Net, Guidance-Fusion Network (GF-Net), Reconstruct-Netの3つの部分で構成される。
まず,自己画素注意 (SA) とクロスピクセル注意 (CA) を併用したマスクネットを構築し,雪片の特徴を把握し,雪面の位置を正確に推定し,正確な雪面予測を行う。
次に、予測した雪マスクを特別に設計されたgf-netに送り、モデルに適応して雪を除去させる。
最後に、効率的な再構成ネットを用いてヴェイリング効果を除去し、画像を補正して雪のない最終画像を再構築する。
積極的実験により, SMGARNは既存の除雪方法よりも数値的に優れており, 再構成された画像は視覚コントラストにおいて明瞭であることがわかった。
すべてのコードは利用可能です。
関連論文リスト
- A deep learning approach for marine snow synthesis and removal [55.86191108738564]
本稿では,深層学習技術を用いた海洋雪の干渉低減手法を提案する。
まず,GAN(Generative Adversarial Network)モデルを用いて,現実的な積雪サンプルを合成する。
次に、画像から画像への変換タスクとして海洋性除雪を行うためにU-Netモデルを訓練する。
論文 参考訳（メタデータ） (2023-11-27T07:19:41Z) - ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural
Rendering [83.75284107397003]
本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。
本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。
マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-05-03T13:24:06Z) - Star-Net: Improving Single Image Desnowing Model With More Efficient
Connection and Diverse Feature Interaction [0.8602553195689513]
本稿では,Star-Netと呼ばれる新しい単一画像認識ネットワークを提案する。
まず、スター型スキップ接続(SSC)を設計し、全ての異なる機能のための情報チャネルを確立する。
第2に、Star-NetのベースモジュールとしてMulti-Stage Interactive Transformer(MIT)を提案する。
第3に, 積雪粒子と積雪霧を除去するデジネートフィルタモジュール (DFM) を提案する。
論文 参考訳（メタデータ） (2023-03-17T14:03:49Z) - LMQFormer: A Laplace-Prior-Guided Mask Query Transformer for Lightweight
Snow Removal [22.047433543495867]
我々はLaplace Mask Query Transformer (LMQFormer) と呼ばれる軽量だが高効率な除雪ネットワークを提案する。
まず,雪の事前知識として粗いマスクを生成するためのLaplace-VQVAEを提案する。このマスクをデータセットに使用するのではなく,雪の情報エントロピーと回復の計算コストの両面を削減することを目的としている。
第3に、粗いマスクを特定の数のクエリに変換するDMQA(Duplicated Mask Query Attention)を開発し、パラメータを減らしたMQFormerの注意領域を制限する。
論文 参考訳（メタデータ） (2022-10-10T15:44:06Z) - SnowFormer: Scale-aware Transformer via Context Interaction for Single
Image Desnowing [9.747362856056162]
本研究では,SnowFormerと呼ばれる強力なアーキテクチャを提案する。
エンコーダでスケール対応の特徴集約を行い、様々な劣化の豊富な雪情報をキャプチャする。
また、デコーダに新しいコンテキストインタラクショントランスフォーマーブロック(Context Interaction Transformer Block)を使用し、ローカル詳細とグローバル情報のコンテキストインタラクションを実行する。
論文 参考訳（メタデータ） (2022-08-20T15:01:09Z) - MSP-Former: Multi-Scale Projection Transformer for Single Image
Desnowing [6.22867695581195]
1枚の画像から雪を除去する作業に視覚変換器を適用した。
チャネルに沿って分割された並列ネットワークアーキテクチャを提案し、局所的な特徴改善とグローバルな情報モデリングを別々に行う。
実験では,本手法の優位性を示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-07-12T15:44:07Z) - LiDAR Snowfall Simulation for Robust 3D Object Detection [116.10039516404743]
そこで本研究では,降雪の影響をシミュレーションする物理的手法を提案する。
本手法では,LiDARの各線に対して2次元空間の雪粒子をサンプリングし,誘導幾何を用いて各LiDAR線の測定を修正した。
我々はシミュレーションを用いて、部分的に合成された雪のLiDARデータを生成し、これらのデータを利用して、降雪に頑健な3次元物体検出モデルを訓練する。
論文 参考訳（メタデータ） (2022-03-28T21:48:26Z) - TransWeather: Transformer-based Restoration of Images Degraded by
Adverse Weather Conditions [77.20136060506906]
トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。
TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。
実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
論文 参考訳（メタデータ） (2021-11-29T18:57:09Z) - Beyond Monocular Deraining: Parallel Stereo Deraining Network Via
Semantic Prior [103.49307603952144]
ほとんどの既存の脱雨アルゴリズムは単一の入力画像のみを使用し、クリーンな画像の復元を目指しています。
本稿では,ステレオ画像とセマンティック情報の両方を利用するPaired Rain Removal Network(PRRNet)を提案する。
単分子および新たに提案したステレオ降雨データセットの両方の実験により,提案手法が最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2021-05-09T04:15:10Z) - Deep Dense Multi-scale Network for Snow Removal Using Semantic and
Geometric Priors [78.61844008368587]
本研究では, 積雪除去のための深度多スケールネットワーク (textbfDDMSNet) を提案する。
セマンティクスマップと幾何マップを入力として取り入れ,セマンティクス・アウェア表現と幾何アウェア表現を学習して雪を取り除く。
論文 参考訳（メタデータ） (2021-03-21T03:30:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。