論文の概要: PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2308.03979v1
• Date: Tue, 8 Aug 2023 01:55:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 14:36:38.216218
• Title: PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation
• Title（参考訳）: paif:攻撃耐性を持つセマンティクスセグメンテーションのための知覚認識型赤外可視画像融合
• Authors: Zhu Liu, Jinyuan Liu, Benzhuang Zhang, Long Ma, Xin Fan, Risheng Liu
• Abstract要約: 対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。 我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 50.556961575275345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared and visible image fusion is a powerful technique that combines complementary information from different modalities for downstream semantic perception tasks. Existing learning-based methods show remarkable performance, but are suffering from the inherent vulnerability of adversarial attacks, causing a significant decrease in accuracy. In this work, a perception-aware fusion framework is proposed to promote segmentation robustness in adversarial scenes. We first conduct systematic analyses about the components of image fusion, investigating the correlation with segmentation robustness under adversarial perturbations. Based on these analyses, we propose a harmonized architecture search with a decomposition-based structure to balance standard accuracy and robustness. We also propose an adaptive learning strategy to improve the parameter robustness of image fusion, which can learn effective feature extraction under diverse adversarial perturbations. Thus, the goals of image fusion (\textit{i.e.,} extracting complementary features from source modalities and defending attack) can be realized from the perspectives of architectural and learning strategies. Extensive experimental results demonstrate that our scheme substantially enhances the robustness, with gains of 15.3% mIOU of segmentation in the adversarial scene, compared with advanced competitors. The source codes are available at https://github.com/LiuZhu-CV/PAIF.
• Abstract（参考訳）: 赤外線および可視画像融合は、下流意味知覚タスクのための異なるモダリティからの補完情報を結合する強力な技術である。 既存の学習ベースの手法は優れた性能を示すが、敵攻撃の固有の脆弱性に悩まされており、精度が著しく低下する。 本研究では, 対向場面におけるセグメンテーションの堅牢性を促進するために, 知覚認識融合フレームワークを提案する。 まず画像融合の成分を系統的に解析し, 対向摂動下でのセグメンテーションの堅牢性との関係について検討する。 これらの分析に基づいて,標準精度とロバスト性のバランスをとるために,分解構造を用いた調和型アーキテクチャ探索を提案する。 また,画像融合のパラメータロバスト性を改善するための適応型学習手法を提案する。 したがって、画像融合の目標(つまり、ソースモダリティから相補的な特徴を抽出し、攻撃を防御する)は、アーキテクチャと学習戦略の観点から実現することができる。 広範な実験結果から,本手法は,競争相手に比べて15.3%のセグメンテーションが向上し,ロバスト性が大幅に向上することが示された。 ソースコードはhttps://github.com/liuzhu-cv/paifで入手できる。

関連論文リスト

• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Interactive Feature Embedding for Infrared and Visible Image Fusion [94.77188069479155]
  赤外線と可視画像の融合のための一般的なディープラーニングに基づく手法は、情報保持のための教師なしのメカニズムに依存している。 赤外線および可視画像融合のための自己教師付き学習フレームワークに,インタラクティブな新たな特徴埋め込みを提案する。
  論文  参考訳（メタデータ） (2022-11-09T13:34:42Z)
• Robustness and invariance properties of image classifiers [8.970032486260695]
  ディープニューラルネットワークは多くの画像分類タスクで印象的な結果を得た。 ディープネットワークは、多種多様なセマンティック保存画像修正に対して堅牢ではない。 画像分類器の小さなデータ分散シフトに対する堅牢性の低さは、その信頼性に関する深刻な懸念を引き起こす。
  論文  参考訳（メタデータ） (2022-08-30T11:00:59Z)
• Adversarially-Aware Robust Object Detector [85.10894272034135]
  本稿では,ロバスト検出器 (RobustDet) を提案する。 本モデルは, クリーン画像の検出能力を維持しながら, 傾きを効果的に解き, 検出堅牢性を著しく向上させる。
  論文  参考訳（メタデータ） (2022-07-13T13:59:59Z)
• Contextual Fusion For Adversarial Robustness [0.0]
  ディープニューラルネットワークは、通常、1つの特定の情報ストリームを処理し、様々な種類の敵の摂動に影響を受けやすいように設計されている。 そこで我々はPlaces-CNNとImagenet-CNNから並列に抽出した背景特徴と前景特徴を組み合わせた融合モデルを開発した。 グラデーションをベースとした攻撃では,フュージョンは乱れのないデータの性能を低下させることなく,分類の大幅な改善を可能にする。
  論文  参考訳（メタデータ） (2020-11-18T20:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。