論文の概要: Dual-modal Prior Semantic Guided Infrared and Visible Image Fusion for Intelligent Transportation System
- arxiv url: http://arxiv.org/abs/2403.16227v1
- Date: Sun, 24 Mar 2024 16:41:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 16:56:25.761784
- Title: Dual-modal Prior Semantic Guided Infrared and Visible Image Fusion for Intelligent Transportation System
- Title（参考訳）: インテリジェントトランスポートシステムのためのデュアルモーダル事前セマンティック誘導赤外・可視画像融合
- Authors: Jing Li, Lu Bai, Bin Yang, Chang Li, Lingfei Ma, Lixin Cui, Edwin R. Hancock,
- Abstract要約: インテリジェントトランスポートシステム(ITS)における赤外線および可視画像融合(IVF)の役割
本稿では,2つのモーダリティ戦略に基づく先行的意味誘導画像融合法を提案する。
- 参考スコア（独自算出の注目度）: 22.331591533400402
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Infrared and visible image fusion (IVF) plays an important role in intelligent transportation system (ITS). The early works predominantly focus on boosting the visual appeal of the fused result, and only several recent approaches have tried to combine the high-level vision task with IVF. However, they prioritize the design of cascaded structure to seek unified suitable features and fit different tasks. Thus, they tend to typically bias toward to reconstructing raw pixels without considering the significance of semantic features. Therefore, we propose a novel prior semantic guided image fusion method based on the dual-modality strategy, improving the performance of IVF in ITS. Specifically, to explore the independent significant semantic of each modality, we first design two parallel semantic segmentation branches with a refined feature adaptive-modulation (RFaM) mechanism. RFaM can perceive the features that are semantically distinct enough in each semantic segmentation branch. Then, two pilot experiments based on the two branches are conducted to capture the significant prior semantic of two images, which then is applied to guide the fusion task in the integration of semantic segmentation branches and fusion branches. In addition, to aggregate both high-level semantics and impressive visual effects, we further investigate the frequency response of the prior semantics, and propose a multi-level representation-adaptive fusion (MRaF) module to explicitly integrate the low-frequent prior semantic with the high-frequent details. Extensive experiments on two public datasets demonstrate the superiority of our method over the state-of-the-art image fusion approaches, in terms of either the visual appeal or the high-level semantics.
- Abstract（参考訳）: 近赤外・可視画像融合(IVF)は知的輸送システム(ITS)において重要な役割を担っている。
初期の研究は主に融合した結果の視覚的魅力を高めることに重点を置いており、近年では高レベルの視覚タスクとIVFを組み合わせるためのいくつかのアプローチが試みられている。
しかし、それらは、統一された特徴を求め、異なるタスクに適合するように、カスケード構造の設計を優先する。
したがって、それらは通常、意味的特徴の重要さを考慮せずに、生のピクセルを再構成する傾向にある。
そこで本研究では,2つのモダリティ戦略に基づく従来型セマンティックガイド画像融合手法を提案し,ITSにおけるIVFの性能を向上する。
具体的には、各モダリティの独立的な意味論を探求するため、まず2つの並列セマンティックセマンティックセマンティクス分岐を改良された特徴適応変調(RFaM)機構で設計する。
RFaMは、各セマンティックセグメンテーションブランチで十分なセマンティックな特徴を認識することができる。
次に、2つの枝に基づく2つの実験実験を行い、2つの画像の有意な先行的意味を捉え、その後、意味分割枝と融合枝の統合において融合タスクを導く。
さらに,ハイレベルなセマンティクスと印象的な視覚効果の両方を集約するために,先行セマンティクスの周波数応答をさらに検討し,低頻度な事前セマンティクスと高頻度の詳細を明示的に統合する多レベル表現適応融合(MRaF)モジュールを提案する。
2つの公開データセットに対する大規模な実験は、視覚的魅力と高レベルのセマンティクスの両方の観点から、最先端の画像融合アプローチよりも、我々の手法が優れていることを示す。
関連論文リスト
- IVGF: The Fusion-Guided Infrared and Visible General Framework [41.07925395888705]
赤外および可視の両モードタスクは、相補的な情報を融合することで、極端な場面でも堅牢なパフォーマンスを達成することができる。
我々は、多くの高レベル視覚タスクに容易に拡張可能な、統合誘導型赤外線可視光一般フレームワークIVGFを提案する。
論文 参考訳（メタデータ） (2024-09-02T06:38:37Z) - From Text to Pixels: A Context-Aware Semantic Synergy Solution for
Infrared and Visible Image Fusion [66.33467192279514]
我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。
本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-31T08:13:47Z) - SSPFusion: A Semantic Structure-Preserving Approach for Infrared and
Visible Image Fusion [30.55433673796615]
既存の学習ベースの赤外線および可視画像融合(IVIF)法は、融合画像に大量の冗長情報を示す。
本稿では,IVIF における意味的構造保存手法,すなわち SSPFusion を提案する。
提案手法は,2組の赤外線画像と可視画像から高品質な融合画像を生成することができ,下流コンピュータビジョンタスクの性能を向上させることができる。
論文 参考訳（メタデータ） (2023-09-26T08:13:32Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳（メタデータ） (2023-09-18T11:06:42Z) - Multi-interactive Feature Learning and a Full-time Multi-modality
Benchmark for Image Fusion and Segmentation [66.15246197473897]
多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。
画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-08-04T01:03:58Z) - An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳（メタデータ） (2023-05-17T06:48:35Z) - Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and
Beyond [50.556961575275345]
補完特性とカスケード二重タスク関連モジュールを融合する画像融合モジュールを構築した。
本研究では, 高速な1次近似により対応する勾配を計算し, 融合学習のための勾配のバランスをとるための動的重み付けアグリゲーションを提案する。
論文 参考訳（メタデータ） (2023-05-11T10:55:34Z) - Breaking Free from Fusion Rule: A Fully Semantic-driven Infrared and
Visible Image Fusion [51.22863068854784]
赤外線と可視画像の融合はコンピュータビジョンの分野において重要な役割を果たす。
従来のアプローチでは、損失関数の様々な融合ルールを設計する努力が続けられていた。
セマンティックガイダンスを十分に活用する意味レベル融合ネットワークを開発した。
論文 参考訳（メタデータ） (2022-11-22T13:59:59Z) - Semantic-aligned Fusion Transformer for One-shot Object Detection [18.58772037047498]
ワンショットオブジェクト検出は、与えられた1つのインスタンスに従って新しいオブジェクトを検出することを目的としている。
現在のアプローチでは、直接転送可能なメタ知識を得るために様々な特徴融合を探索している。
本稿では,これらの問題を解決するために,Semantic-aligned Fusion Transformer (SaFT) というシンプルなアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-03-17T05:38:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。