論文の概要: All-weather Multi-Modality Image Fusion: Unified Framework and 100k Benchmark
- arxiv url: http://arxiv.org/abs/2402.02090v2
- Date: Mon, 11 Nov 2024 12:11:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 17:14:35.588983
- Title: All-weather Multi-Modality Image Fusion: Unified Framework and 100k Benchmark
- Title（参考訳）: All-weather Multi-Modality Image Fusion: Unified Frameworkと100kベンチマーク
- Authors: Xilai Li, Wuyang Liu, Xiaosong Li, Fuqiang Zhou, Huafeng Li, Feiping Nie,
- Abstract要約: MMIF(Multi-modality Image fusion)は、異なる画像モダリティからの相補的な情報を組み合わせて、より包括的で客観的なシーン解釈を提供する。
既存のMMIF法では、現実の場面で異なる気象干渉に抵抗する能力が欠如しており、自律運転のような実践的な応用では利用できない。
この文脈で効率的なマルチタスクを実現するために,全天候MMIFモデルを提案する。
実世界の場面と合成シーンの両方における実験結果から,提案アルゴリズムは細部回復と多モード特徴抽出に優れることが示された。
- 参考スコア（独自算出の注目度）: 42.49073228252726
- License:
- Abstract: Multi-modality image fusion (MMIF) combines complementary information from different image modalities to provide a more comprehensive and objective interpretation of scenes. However, existing MMIF methods lack the ability to resist different weather interferences in real-world scenes, preventing them from being useful in practical applications such as autonomous driving. To bridge this research gap, we proposed an all-weather MMIF model. Achieving effective multi-tasking in this context is particularly challenging due to the complex and diverse nature of weather conditions. A key obstacle lies in the 'black box' nature of current deep learning architectures, which restricts their multi-tasking capabilities. To overcome this, we decompose the network into two modules: a fusion module and a restoration module. For the fusion module, we introduce a learnable low-rank representation model to decompose images into low-rank and sparse components. This interpretable feature separation allows us to better observe and understand images. For the restoration module, we propose a physically-aware clear feature prediction module based on an atmospheric scattering model that can deduce variations in light transmittance from both scene illumination and reflectance. We also construct a large-scale multi-modality dataset with 100,000 image pairs across rain, haze, and snow conditions, covering various degradation levels and diverse scenes to thoroughly evaluate image fusion methods in adverse weather. Experimental results in both real-world and synthetic scenes show that the proposed algorithm excels in detail recovery and multi-modality feature extraction. The code is available at https://github.com/ixilai/AWFusion.
- Abstract（参考訳）: MMIF(Multi-modality Image fusion)は、異なる画像モダリティからの相補的な情報を組み合わせて、より包括的で客観的なシーン解釈を提供する。
しかし、既存のMMIF法では、現実の場面で異なる気象干渉に抵抗する能力が欠如しており、自律運転のような実用的な応用では利用できない。
この研究ギャップを埋めるため、我々は全天候MMIFモデルを提案した。
この文脈で効果的なマルチタスクを実現することは、気象条件の複雑で多様な性質のために特に困難である。
重要な障害は、現在のディープラーニングアーキテクチャの‘ブラックボックス’の性質にある。
これを解決するために,ネットワークを融合モジュールと復元モジュールの2つのモジュールに分割する。
融合モジュールに対しては,画像を低ランクかつスパースなコンポーネントに分解する,学習可能な低ランク表現モデルを導入する。
この解釈可能な特徴分離により、イメージをよりよく観察し理解することができます。
再生モジュールでは,光透過率の変動をシーン照明と反射の両方から推定できる大気散乱モデルに基づいて,物理的に認識可能な特徴予測モジュールを提案する。
また, 降雨, ヘイズ, 積雪条件にまたがる画像ペア10万枚からなる大規模多モードデータセットを構築し, 各種劣化レベルと多様な場面を網羅し, 悪天候下での画像融合手法を徹底的に評価した。
実世界の場面と合成シーンの両方における実験結果から,提案アルゴリズムは細部回復と多モード特徴抽出に優れることが示された。
コードはhttps://github.com/ixilai/AWFusion.comで公開されている。
関連論文リスト
- Multiple weather images restoration using the task transformer and adaptive mixup strategy [14.986500375481546]
本稿では,複雑な気象条件を適応的に効果的に処理できる,マルチタスクの厳しい天候除去モデルを提案する。
本モデルでは,気象タスクシークエンスジェネレータを組み込んで,気象タイプに特有な特徴に選択的に注目する自己認識機構を実現する。
提案モデルでは,公開データセット上での最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-09-05T04:55:40Z) - Bridging the Gap between Multi-focus and Multi-modal: A Focused
Integration Framework for Multi-modal Image Fusion [5.417493475406649]
MMIF(Multi-Modal Image fusion)は、異なるモダリティ画像からの貴重な情報を融合画像に統合する。
本稿では,協調型統合とモダリティ情報抽出のためのMMIFフレームワークを提案する。
提案アルゴリズムは、視覚知覚と定量的評価において最先端の手法を超越することができる。
論文 参考訳（メタデータ） (2023-11-03T12:58:39Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳（メタデータ） (2023-06-15T10:06:13Z) - Counting Crowds in Bad Weather [68.50690406143173]
本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。
モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。
実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
論文 参考訳（メタデータ） (2023-06-02T00:00:09Z) - Contrastive Learning Based Recursive Dynamic Multi-Scale Network for
Image Deraining [47.764883957379745]
雨のストリークは撮影画像の可視性を著しく低下させる。
既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。
本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
論文 参考訳（メタデータ） (2023-05-29T13:51:41Z) - WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal [38.257012295118145]
Mixture-of-Experts (MoE) は、学習可能なゲートを採用して、入力を異なる専門家ネットワークにルーティングする人気モデルである。
本稿では, 視覚障害者の視覚障害者のためのTransformer を用いた気象対応マルチスケールMOE (WM-MoE) を提案する。
本手法は,2つのパブリックデータセットとデータセットに対して,盲点悪天候除去における最先端性能を実現する。
論文 参考訳（メタデータ） (2023-03-24T01:46:25Z) - Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image
Fusion [59.19469551774703]
赤外線と可視画像の融合は,複数の情報源からの包括的情報を統合して,様々な作業において優れた性能を実現することを目的としている。
局所-言語の専門家によるマルチモーダルゲート混合を用いた動的画像融合フレームワークを提案する。
本モデルは,Mixture of Local Experts (MoLE) とMixture of Global Experts (MoGE) から構成される。
論文 参考訳（メタデータ） (2023-02-02T20:06:58Z) - Competitive Simplicity for Multi-Task Learning for Real-Time Foggy Scene
Understanding via Domain Adaptation [17.530091734327296]
霧の多い気象条件下で,リアルタイムのセマンティックシーン理解と単眼深度推定が可能なマルチタスク学習手法を提案する。
我々のモデルはRGB色、深度、輝度の画像を密接な接続性を持つ異なるエンコーダで表現する。
論文 参考訳（メタデータ） (2020-12-09T20:38:34Z) - Crowdsampling the Plenoptic Function [56.10020793913216]
このようなデータから時間変動照明下での新しいビュー合成手法を提案する。
本稿では,新しいDeepMPI表現について紹介する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
論文 参考訳（メタデータ） (2020-07-30T02:52:10Z) - Multi-Scale Progressive Fusion Network for Single Image Deraining [84.0466298828417]
空気中の雨のストリークは、位置からカメラまでの距離が異なるため、様々なぼやけた度合いや解像度で現れる。
同様の降雨パターンは、雨像やマルチスケール(またはマルチレゾリューション)バージョンで見ることができる。
本研究では,入力画像のスケールと階層的な深部特徴の観点から,雨天のマルチスケール協調表現について検討する。
論文 参考訳（メタデータ） (2020-03-24T17:22:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。