論文の概要: SWIR-LightFusion: Multi-spectral Semantic Fusion of Synthetic SWIR with {Thermal} IR {(LWIR/MWIR)} and RGB

• arxiv url: http://arxiv.org/abs/2510.13404v1
• Date: Wed, 15 Oct 2025 11:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.632383
• Title: SWIR-LightFusion: Multi-spectral Semantic Fusion of Synthetic SWIR with {Thermal} IR {(LWIR/MWIR)} and RGB
• Title（参考訳）: SWIR-LightFusion: 合成SWIRの多スペクトルセマンティックフュージョン {Thermal} IR {(LWIR/MWIR)} と RGB
• Authors: Muhammad Ishfaq Hussain, Ma Van Linh, Zubia Naz, Unse Fatima, Yeongmin Ko, Moongu Jeon,
• Abstract要約: 悪質な視界条件におけるシーン理解の促進は、監視と自律的なナビゲーションシステムにとって重要な課題である。 短波赤外画像(SWIR)は、大気の乱れを貫通し、透明度を向上させた材料を識別する能力によって、将来性のあるモダリティとして浮上している。 本稿では、最適化エンコーダデコーダニューラルネットワークアーキテクチャを用いて、合成SWIR、LWIR、RGBモダリティを統合したマルチモーダル融合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.054759773528757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enhancing scene understanding in adverse visibility conditions remains a critical challenge for surveillance and autonomous navigation systems. Conventional imaging modalities, such as RGB and thermal infrared (MWIR / LWIR), when fused, often struggle to deliver comprehensive scene information, particularly under conditions of atmospheric interference or inadequate illumination. To address these limitations, Short-Wave Infrared (SWIR) imaging has emerged as a promising modality due to its ability to penetrate atmospheric disturbances and differentiate materials with improved clarity. However, the advancement and widespread implementation of SWIR-based systems face significant hurdles, primarily due to the scarcity of publicly accessible SWIR datasets. In response to this challenge, our research introduces an approach to synthetically generate SWIR-like structural/contrast cues (without claiming spectral reproduction) images from existing LWIR data using advanced contrast enhancement techniques. We then propose a multimodal fusion framework integrating synthetic SWIR, LWIR, and RGB modalities, employing an optimized encoder-decoder neural network architecture with modality-specific encoders and a softmax-gated fusion head. Comprehensive experiments on public {RGB-LWIR benchmarks (M3FD, TNO, CAMEL, MSRS, RoadScene) and an additional private real RGB-MWIR-SWIR dataset} demonstrate that our synthetic-SWIR-enhanced fusion framework improves fused-image quality (contrast, edge definition, structural fidelity) while maintaining real-time performance. We also add fair trimodal baselines (LP, LatLRR, GFF) and cascaded trimodal variants of U2Fusion/SwinFusion under a unified protocol. The outcomes highlight substantial potential for real-world applications in surveillance and autonomous systems.
• Abstract（参考訳）: 悪質な視界条件におけるシーン理解の促進は、監視と自律的なナビゲーションシステムにとって重要な課題である。 RGBや熱赤外(MWIR/LWIR)のような従来の画像モダリティは、特に大気干渉や不適切な照明の条件下で、統合的なシーン情報の提供に苦慮することが多い。 これらの制限に対処するため、ショートウェーブ赤外線(SWIR)イメージングは、大気の乱れを貫通し、透明度を改善した材料を識別する能力のために、有望なモダリティとして登場した。 しかし、SWIRベースのシステムの進歩と広範な実装は、主に一般にアクセス可能なSWIRデータセットが不足しているため、大きなハードルに直面している。 そこで本研究では,既存のLWIRデータからSWIRのような構造/コントラスト画像(スペクトル再生を主張せずに)を合成的に生成する手法を提案する。 次に、合成SWIR、LWIR、RGBモダリティを統合したマルチモーダル融合フレームワークを提案し、モダリティ特異的エンコーダとソフトマックスゲート融合ヘッドを備えた最適化エンコーダデコーダニューラルネットワークアーキテクチャを用いる。 パブリック {RGB-LWIR ベンチマーク (M3FD, TNO, CAMEL, MSRS, RoadScene) と,さらにプライベートな RGB-MWIR-SWIR データセットを用いた総合的な実験により,我々の合成SWIR 拡張融合フレームワークは,リアルタイム性能を維持しつつ,融合画像の品質(コントラスト,エッジ定義,構造的忠実性)を向上することを示した。 また、統一されたプロトコルの下で、公平な三モーダルベースライン(LP、LatLRR、GFF)とU2Fusion/SwinFusionのカスケード三モーダル変種を追加します。 この結果は、監視と自律システムにおける現実世界の応用のかなりの可能性を浮き彫りにしている。

関連論文リスト

• HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection [75.406055413928]
  RGB-T SODのための新しいプロンプト駆動セグメントモデル(HyPSAM)を提案する。 DFNetは動的畳み込みとマルチブランチデコーディングを使用して、適応的な相互モダリティ相互作用を促進する。 3つの公開データセットの実験により,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-09-23T07:32:11Z)
• Veila: Panoramic LiDAR Generation from a Monocular RGB Image [18.511014983119274]
  現実的で制御可能なパノラマLiDARデータ生成は、自律運転およびロボット工学におけるスケーラブルな3D知覚に不可欠である。 空間制御信号として単眼RGB画像を活用することは、スケーラブルで低コストな代替手段を提供する。 局所的な信頼性に応じて意味と深度を統合した新しい条件拡散フレームワークであるVeilaを提案する。
  論文  参考訳（メタデータ） (2025-08-05T17:59:53Z)
• Spectral-Aware Global Fusion for RGB-Thermal Semantic Segmentation [10.761216101789774]
  マルチモーダル機能の強化と融合を図るため,SGFNet(Spectral-aware Global Fusion Network)を提案する。 SGFNetは、MFNetとPST900データセットの最先端メソッドよりも優れている。
  論文  参考訳（メタデータ） (2025-05-21T13:17:57Z)
• RGB-Thermal Infrared Fusion for Robust Depth Estimation in Complex Environments [0.0]
  本稿では,深度推定精度とロバスト性を向上させるマルチモーダル深度推定モデルRTFusionを提案する。 このモデルは、相互補完的アライメント(MCA)モジュールからなる独自の融合機構であるEGFusionを組み込んでいる。 MS2およびViViD++データセットの実験では、提案モデルが高品質な深度マップを一貫して生成していることが示されている。
  論文  参考訳（メタデータ） (2025-03-05T01:35:14Z)
• Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
  高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。 提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
  論文  参考訳（メタデータ） (2025-01-25T06:21:06Z)
• NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Dataset [53.79524776100983]
  近赤外(NIR)画像を活用して、視認可能なRGB画像の復調を支援することで、この問題に対処する可能性を示している。 既存の作品では、NIR情報を効果的に活用して現実のイメージを飾ることに苦戦している。 先進デノナイジングネットワークにプラグイン・アンド・プレイ可能な効率的な選択核融合モジュール(SFM)を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:54:26Z)
• Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM [58.736472371951955]
  表面を交差する光線上の点を3つの領域(前・前・後・後)に分類する3成分式不透明度モデルを導入する。 これにより、より正確な深度のレンダリングが可能となり、画像ワープ技術の性能が向上する。 TTとHOの統合アプローチは,合成および実世界のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-20T18:03:17Z)
• Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
  既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。 本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。 提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
  論文  参考訳（メタデータ） (2023-07-28T04:36:07Z)
• Flare-Aware Cross-modal Enhancement Network for Multi-spectral Vehicle Re-identification [29.48387524901101]
  厳しい環境下では、RGBとNIRモダリティの非ネイティブな手がかりは、車両のランプや日光からの強いフレアによってしばしば失われる。 フレア崩壊したRGBとNIRの特徴をフレア免疫熱赤外スペクトルから誘導して適応的に復元するフレア・アウェア・クロスモーダル・エンハンスメント・ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。