論文の概要: Beyond Night Visibility: Adaptive Multi-Scale Fusion of Infrared and Visible Images

• arxiv url: http://arxiv.org/abs/2403.01083v1
• Date: Sat, 2 Mar 2024 03:52:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 15:17:08.381332
• Title: Beyond Night Visibility: Adaptive Multi-Scale Fusion of Infrared and Visible Images
• Title（参考訳）: 夜の可視性を超えて:赤外線と可視画像の適応的マルチスケール融合
• Authors: Shufan Pei, Junhong Lin, Wenxi Liu, Tiesong Zhao and Chia-Wen Lin
• Abstract要約: 赤外線および可視画像を用いた適応型マルチスケール核融合ネットワーク(AMFusion)を提案する。 まず、赤外画像と可視画像から空間的特徴と意味的特徴を分離し、前者が光分布の調整に使用される。 第2に,事前学習したバックボーンから抽出した検出機能を利用して,意味的特徴の融合を誘導する。 第3に、通常の光強度で融合画像を制約する新しい照明損失を提案する。
• 参考スコア（独自算出の注目度）: 49.75771095302775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In addition to low light, night images suffer degradation from light effects (e.g., glare, floodlight, etc). However, existing nighttime visibility enhancement methods generally focus on low-light regions, which neglects, or even amplifies the light effects. To address this issue, we propose an Adaptive Multi-scale Fusion network (AMFusion) with infrared and visible images, which designs fusion rules according to different illumination regions. First, we separately fuse spatial and semantic features from infrared and visible images, where the former are used for the adjustment of light distribution and the latter are used for the improvement of detection accuracy. Thereby, we obtain an image free of low light and light effects, which improves the performance of nighttime object detection. Second, we utilize detection features extracted by a pre-trained backbone that guide the fusion of semantic features. Hereby, we design a Detection-guided Semantic Fusion Module (DSFM) to bridge the domain gap between detection and semantic features. Third, we propose a new illumination loss to constrain fusion image with normal light intensity. Experimental results demonstrate the superiority of AMFusion with better visual quality and detection accuracy. The source code will be released after the peer review process.
• Abstract（参考訳）: 低照度に加えて、夜間画像は光の影響(例えば、グレア、フラッドライトなど)によって劣化する。 しかし、既存の夜間視認性向上法は一般的に低照度領域に焦点を合わせ、無視したり、光効果を増幅したりする。 この問題に対処するため,赤外線および可視画像を用いた適応型マルチスケール核融合ネットワーク(AMFusion)を提案し,異なる照明領域に応じて融合ルールを設計する。 まず,光分布の調整に前者が,後者が検出精度の向上に使用される赤外線画像と可視画像から空間的特徴と意味的特徴を別々に融合する。 これにより、低光・光効果のない画像を得ることができ、夜間物体検出の性能が向上する。 第2に,事前学習したバックボーンから抽出した検出機能を利用して,意味的特徴の融合を誘導する。 そこで我々は,検出誘導セマンティックフュージョンモジュール(DSFM)を設計し,検出と意味的特徴の間の領域ギャップを埋める。 第3に、通常の光強度で融合画像を制約する新しい照明損失を提案する。 実験により,視品質と検出精度が向上し,AMFusionの優位性が示された。 ソースコードは、ピアレビュープロセス後にリリースされる。

関連論文リスト

• Decomposition-based and Interference Perception for Infrared and Visible Image Fusion in Complex Scenes [4.919706769234434]
  本稿では,分解に基づく干渉知覚画像融合法を提案する。 可視画像の画素を光透過の散乱度から分類し,画像の細部とエネルギー情報を分離する。 この洗練された分解により、複雑なシーンにあるより干渉するピクセルを識別するモデルが提案される。
  論文  参考訳（メタデータ） (2024-02-03T09:27:33Z)
• IAIFNet: An Illumination-Aware Infrared and Visible Image Fusion Network [13.11361803763253]
  我々はIAIFNetという名前のイルミネーション対応赤外線・可視画像融合ネットワークを提案する。 本フレームワークでは,まず,入力画像の入射照明マップを推定する。 適応微分融合モジュール (ADFM) と有向目標認識モジュール (STAM) の助けを借りて, 画像融合ネットワークは, 照明付赤外線と可視画像の有向的特徴を高画質の融合画像に効果的に統合する。
  論文  参考訳（メタデータ） (2023-09-26T15:12:29Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• Factorized Inverse Path Tracing for Efficient and Accurate Material-Lighting Estimation [97.0195314255101]
  逆経路追跡は計算に高価であり、反射と放出の間に曖昧さが存在する。 当社のFactized Inverse Path Tracing (FIPT) は, ファクタリング光輸送の定式化によってこれらの課題に対処する。 提案アルゴリズムは, 従来よりも高精度な材料と照明の最適化を実現し, あいまいさの解消に有効である。
  論文  参考訳（メタデータ） (2023-04-12T07:46:05Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Fusion Detection via Distance-Decay IoU and weighted Dempster-Shafer Evidence Theory [0.0]
  高速なマルチソース核融合検出フレームワークが提案されている。 ターゲットの形状特性を符号化するために、ユニオン上の新しい距離デカイ交叉を用いる。 重み付けされたデンプスター・シェーファーのエビデンス理論は、光学と合成開口レーダ検出を組み合わせたものである。
  論文  参考訳（メタデータ） (2021-12-06T13:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。