論文の概要: Physical Perception Network and an All-weather Multi-modality Benchmark
for Adverse Weather Image Fusion
- arxiv url: http://arxiv.org/abs/2402.02090v1
- Date: Sat, 3 Feb 2024 09:02:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 22:16:06.649992
- Title: Physical Perception Network and an All-weather Multi-modality Benchmark
for Adverse Weather Image Fusion
- Title(参考訳): 逆気象画像融合のための物理知覚ネットワークと全天候マルチモーダリティベンチマーク
- Authors: Xilai Li, Wuyang Liu, Xiaosong Li, Haishu Tan
- Abstract要約: マルチモーダル画像融合(MMIF)は、異なるモーダル画像からの補完情報を統合し、シーンの包括的かつ客観的な解釈を提供する。
既存のMMIF法には、現実のシナリオで異なる気象干渉に抵抗する能力がない。
我々は,極度気象条件下でのMMIF研究のベンチマークを確立した。
- 参考スコア(独自算出の注目度): 4.3773535988950725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modality image fusion (MMIF) integrates the complementary information
from different modal images to provide comprehensive and objective
interpretation of a scenes. However, existing MMIF methods lack the ability to
resist different weather interferences in real-life scenarios, preventing them
from being useful in practical applications such as autonomous driving. To
bridge this research gap, we proposed an all-weather MMIF model. Regarding deep
learning architectures, their network designs are often viewed as a black box,
which limits their multitasking capabilities. For deweathering module, we
propose a physically-aware clear feature prediction module based on an
atmospheric scattering model that can deduce variations in light transmittance
from both scene illumination and depth. For fusion module, We utilize a
learnable low-rank representation model to decompose images into low-rank and
sparse components. This highly interpretable feature separation allows us to
better observe and understand images. Furthermore, we have established a
benchmark for MMIF research under extreme weather conditions. It encompasses
multiple scenes under three types of weather: rain, haze, and snow, with each
weather condition further subdivided into various impact levels. Extensive
fusion experiments under adverse weather demonstrate that the proposed
algorithm has excellent detail recovery and multi-modality feature extraction
capabilities.
- Abstract(参考訳): マルチモダリティ画像融合(mmif)は異なるモダリティ画像からの補完情報を統合し、シーンの包括的かつ客観的な解釈を提供する。
しかし、既存のMMIF法では、現実のシナリオで異なる気象干渉に抵抗する能力が欠如しており、自律運転のような実践的な応用では利用できない。
この研究ギャップを埋めるため、全天候MMIFモデルを提案した。
ディープラーニングアーキテクチャに関しては、ネットワーク設計はしばしばブラックボックスと見なされ、マルチタスク能力を制限している。
本稿では,光透過率の変動をシーン照明と深度の両方から推定できる大気散乱モデルに基づく,物理的に認識可能な特徴予測モジュールを提案する。
融合モジュールでは,学習可能な低ランク表現モデルを用いて画像の低ランク成分とスパース成分に分解する。
この高度に解釈可能な特徴分離により、イメージをよりよく観察し理解することができます。
さらに,極度気象条件下でのMMIF研究のベンチマークも確立した。
雨、風、雪の3種類の気象条件で複数の場面を包含しており、各気象条件はさらに様々な衝撃レベルに分けられている。
悪天候下での広範囲な核融合実験により,提案手法は精細な回復とマルチモダリティ特徴抽出に優れることを示した。
関連論文リスト
- Bridging the Gap between Multi-focus and Multi-modal: A Focused
Integration Framework for Multi-modal Image Fusion [5.417493475406649]
MMIF(Multi-Modal Image fusion)は、異なるモダリティ画像からの貴重な情報を融合画像に統合する。
本稿では,協調型統合とモダリティ情報抽出のためのMMIFフレームワークを提案する。
提案アルゴリズムは、視覚知覚と定量的評価において最先端の手法を超越することができる。
論文 参考訳(メタデータ) (2023-11-03T12:58:39Z) - Exploring the Application of Large-scale Pre-trained Models on Adverse
Weather Removal [97.53040662243768]
ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。
このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
論文 参考訳(メタデータ) (2023-06-15T10:06:13Z) - Counting Crowds in Bad Weather [68.50690406143173]
本研究では,悪天候シナリオにおいて,ロバストな群集カウント手法を提案する。
モデルでは,外見のバリエーションが大きいことを考慮し,効果的な特徴と適応的なクエリを学習する。
実験の結果,提案アルゴリズムは,ベンチマークデータセット上で異なる気象条件下での群集のカウントに有効であることが示唆された。
論文 参考訳(メタデータ) (2023-06-02T00:00:09Z) - Contrastive Learning Based Recursive Dynamic Multi-Scale Network for
Image Deraining [47.764883957379745]
雨のストリークは撮影画像の可視性を著しく低下させる。
既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。
本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
論文 参考訳(メタデータ) (2023-05-29T13:51:41Z) - Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image
Fusion [59.19469551774703]
赤外線と可視画像の融合は,複数の情報源からの包括的情報を統合して,様々な作業において優れた性能を実現することを目的としている。
局所-言語の専門家によるマルチモーダルゲート混合を用いた動的画像融合フレームワークを提案する。
本モデルは,Mixture of Local Experts (MoLE) とMixture of Global Experts (MoGE) から構成される。
論文 参考訳(メタデータ) (2023-02-02T20:06:58Z) - Competitive Simplicity for Multi-Task Learning for Real-Time Foggy Scene
Understanding via Domain Adaptation [17.530091734327296]
霧の多い気象条件下で,リアルタイムのセマンティックシーン理解と単眼深度推定が可能なマルチタスク学習手法を提案する。
我々のモデルはRGB色、深度、輝度の画像を密接な接続性を持つ異なるエンコーダで表現する。
論文 参考訳(メタデータ) (2020-12-09T20:38:34Z) - Crowdsampling the Plenoptic Function [56.10020793913216]
このようなデータから時間変動照明下での新しいビュー合成手法を提案する。
本稿では,新しいDeepMPI表現について紹介する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
論文 参考訳(メタデータ) (2020-07-30T02:52:10Z) - Multi-Scale Progressive Fusion Network for Single Image Deraining [84.0466298828417]
空気中の雨のストリークは、位置からカメラまでの距離が異なるため、様々なぼやけた度合いや解像度で現れる。
同様の降雨パターンは、雨像やマルチスケール(またはマルチレゾリューション)バージョンで見ることができる。
本研究では,入力画像のスケールと階層的な深部特徴の観点から,雨天のマルチスケール協調表現について検討する。
論文 参考訳(メタデータ) (2020-03-24T17:22:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。