論文の概要: Physical Perception Network and an All-weather Multi-modality Benchmark for Adverse Weather Image Fusion

• arxiv url: http://arxiv.org/abs/2402.02090v1
• Date: Sat, 3 Feb 2024 09:02:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:16:06.649992
• Title: Physical Perception Network and an All-weather Multi-modality Benchmark for Adverse Weather Image Fusion
• Title（参考訳）: 逆気象画像融合のための物理知覚ネットワークと全天候マルチモーダリティベンチマーク
• Authors: Xilai Li, Wuyang Liu, Xiaosong Li, Haishu Tan
• Abstract要約: マルチモーダル画像融合(MMIF)は、異なるモーダル画像からの補完情報を統合し、シーンの包括的かつ客観的な解釈を提供する。 既存のMMIF法には、現実のシナリオで異なる気象干渉に抵抗する能力がない。 我々は,極度気象条件下でのMMIF研究のベンチマークを確立した。
• 参考スコア（独自算出の注目度）: 4.3773535988950725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modality image fusion (MMIF) integrates the complementary information from different modal images to provide comprehensive and objective interpretation of a scenes. However, existing MMIF methods lack the ability to resist different weather interferences in real-life scenarios, preventing them from being useful in practical applications such as autonomous driving. To bridge this research gap, we proposed an all-weather MMIF model. Regarding deep learning architectures, their network designs are often viewed as a black box, which limits their multitasking capabilities. For deweathering module, we propose a physically-aware clear feature prediction module based on an atmospheric scattering model that can deduce variations in light transmittance from both scene illumination and depth. For fusion module, We utilize a learnable low-rank representation model to decompose images into low-rank and sparse components. This highly interpretable feature separation allows us to better observe and understand images. Furthermore, we have established a benchmark for MMIF research under extreme weather conditions. It encompasses multiple scenes under three types of weather: rain, haze, and snow, with each weather condition further subdivided into various impact levels. Extensive fusion experiments under adverse weather demonstrate that the proposed algorithm has excellent detail recovery and multi-modality feature extraction capabilities.
• Abstract（参考訳）: マルチモダリティ画像融合(mmif)は異なるモダリティ画像からの補完情報を統合し、シーンの包括的かつ客観的な解釈を提供する。 しかし、既存のMMIF法では、現実のシナリオで異なる気象干渉に抵抗する能力が欠如しており、自律運転のような実践的な応用では利用できない。 この研究ギャップを埋めるため、全天候MMIFモデルを提案した。 ディープラーニングアーキテクチャに関しては、ネットワーク設計はしばしばブラックボックスと見なされ、マルチタスク能力を制限している。 本稿では,光透過率の変動をシーン照明と深度の両方から推定できる大気散乱モデルに基づく,物理的に認識可能な特徴予測モジュールを提案する。 融合モジュールでは,学習可能な低ランク表現モデルを用いて画像の低ランク成分とスパース成分に分解する。 この高度に解釈可能な特徴分離により、イメージをよりよく観察し理解することができます。 さらに,極度気象条件下でのMMIF研究のベンチマークも確立した。 雨、風、雪の3種類の気象条件で複数の場面を包含しており、各気象条件はさらに様々な衝撃レベルに分けられている。 悪天候下での広範囲な核融合実験により,提案手法は精細な回復とマルチモダリティ特徴抽出に優れることを示した。

関連論文リスト

• Diff-Mosaic: Augmenting Realistic Representations in Infrared Small Target Detection via Diffusion Prior [63.64088590653005]
  本稿では拡散モデルに基づくデータ拡張手法であるDiff-Mosaicを提案する。 我々は,モザイク画像を高度に調整し,リアルな画像を生成するPixel-Priorという拡張ネットワークを導入する。 第2段階では,Diff-Prior という画像強調戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:23:05Z)
• Bridging the Gap between Multi-focus and Multi-modal: A Focused Integration Framework for Multi-modal Image Fusion [5.417493475406649]
  MMIF(Multi-Modal Image fusion)は、異なるモダリティ画像からの貴重な情報を融合画像に統合する。 本稿では,協調型統合とモダリティ情報抽出のためのMMIFフレームワークを提案する。 提案アルゴリズムは、視覚知覚と定量的評価において最先端の手法を超越することができる。
  論文  参考訳（メタデータ） (2023-11-03T12:58:39Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image Fusion [59.19469551774703]
  赤外線と可視画像の融合は,複数の情報源からの包括的情報を統合して,様々な作業において優れた性能を実現することを目的としている。 局所-言語の専門家によるマルチモーダルゲート混合を用いた動的画像融合フレームワークを提案する。 本モデルは,Mixture of Local Experts (MoLE) とMixture of Global Experts (MoGE) から構成される。
  論文  参考訳（メタデータ） (2023-02-02T20:06:58Z)
• Multi-Scale Progressive Fusion Network for Single Image Deraining [84.0466298828417]
  空気中の雨のストリークは、位置からカメラまでの距離が異なるため、様々なぼやけた度合いや解像度で現れる。 同様の降雨パターンは、雨像やマルチスケール(またはマルチレゾリューション)バージョンで見ることができる。 本研究では,入力画像のスケールと階層的な深部特徴の観点から,雨天のマルチスケール協調表現について検討する。
  論文  参考訳（メタデータ） (2020-03-24T17:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。