論文の概要: VesperMUSE: Multi-Modal Fusion Vision Transformer for Image Semantic Segmentation Under Diverse Light Conditions

• arxiv url: http://arxiv.org/abs/2610.21990v1
• Date: Thu, 15 Oct 2026 14:39:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.132267
• Title: VesperMUSE: Multi-Modal Fusion Vision Transformer for Image Semantic Segmentation Under Diverse Light Conditions
• Title（参考訳）: VesperMUSE:様々な光条件下での画像セマンティックセマンティックセグメンテーションのためのマルチモード核融合ビジョン変換器
• Abstract要約: VesperMUSEは、様々な照明条件にまたがる堅牢な画像セマンティックセグメンテーションを実現するために設計された、統一されたマルチモーダルフレームワークである。 視覚的手がかりの欠如を回復し、極端および非構造化の現実世界環境におけるマシン認識のための柔軟な最先端(SOTA)ソリューションを提供する。
• 参考スコア（独自算出の注目度）: 0.565221659683104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation is critical for the reliable navigation and scene understanding of autonomous systems, yet its performance degrades severely in low-light environments due to noise, artifacts, colour distortion, and the loss of structural details. To address this challenge, this work introduces VesperMUSE, a unified multi-modal framework designed to achieve robust image semantic segmentation across diverse illumination conditions. The architecture addresses the light deficiency problem on multiple levels: proposing a novel physics-informed synthetic low-light adaptation algorithm, approaching Low-Light Image Enhancement (LLIE) through a thermal-guided paradigm, and finally aiming to recover the intrinsic scene details for semantic segmentation through a multi-modal fusion approach. Following enhancement, the framework dynamically integrates the primary RGB features with auxiliary thermal representations and surface normal maps highlighting geometric discontinuities and material boundaries. At the core of this integration is a highly scalable, modality-agnostic self-attention mechanism that extracts both global context and fine local features from an arbitrary number of auxiliary inputs. By combining and projecting these hierarchical multi-modal representations into a unified component, the attention module allows the network to selectively attend to relevant cross-modal cues without requiring any architectural modifications when different sensor configurations are used. Extensive evaluations demonstrate that VesperMUSE successfully recovers missing visual cues, providing a flexible, state-of-the-art (SOTA) solution for machine perception in extreme and unstructured real-world environments.
• Abstract（参考訳）: セマンティックセグメンテーションは自律システムの信頼性の高いナビゲーションとシーン理解に不可欠であるが、ノイズ、アーティファクト、色歪み、構造的詳細の喪失などにより、低照度環境では著しく劣化する。 この課題に対処するために、様々な照明条件にまたがる堅牢な画像セマンティックセグメンテーションを実現するために設計された統合マルチモーダルフレームワークであるVesperMUSEを導入する。 このアーキテクチャは、新しい物理インフォームド合成低光適応アルゴリズムの提案、熱誘導パラダイムによる低光画像強調(LLIE)へのアプローチ、そして最終的にはマルチモーダル融合アプローチによるセマンティックセグメンテーションの本質的なシーン詳細の回復を目指している。 拡張後、このフレームワークは主要なRGB特徴を動的に統合し、補助的な熱表現と幾何学的不連続性や材料境界を強調した表面正規写像を付加する。 この統合の核心は高度にスケーラブルでモダリティに依存しない自己認識機構であり、任意の数の補助入力から大域的コンテキストと細かな局所的特徴を抽出する。 これらの階層的なマルチモーダル表現を統一されたコンポーネントに組み合わせ、投影することにより、アテンションモジュールは、異なるセンサー構成を使用する場合のアーキテクチャ変更を必要とせずに、ネットワークが関連するモーダルキューに選択的に参加できるようにする。 大規模な評価では、VesperMUSEは行方不明の視覚的手がかりを回復し、極端な、非構造化の現実世界環境におけるマシン認識のための柔軟な最先端(SOTA)ソリューションを提供する。

関連論文リスト

• Lighting-aware Unified Model for Instance Segmentation [12.511503644139369]
  重いバックボーンを微調整することなくセグメンテーションロバスト性を高めるアダプタモジュールを開発した。 lcaは、コントラストマップと並行してRGB機能を処理するためにデュアルブランチアーキテクチャを採用し、物理的に動機付けされた構造変化に対する感度を可能にする。 本稿では、複雑な現実世界の照明条件を正確に再現するための新しいUnityベースの合成データセットを提案する。
  論文  参考訳（メタデータ） (2026-05-19T19:35:51Z)
• CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
  赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。 我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。 実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-12T13:36:48Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• GCRPNet: Graph-Enhanced Contextual and Regional Perception Network for Salient Object Detection in Optical Remote Sensing Images [68.33481681452675]
  本稿では,GCRPNet(Graph-enhanced contextual and Regional Recognition Network)を提案する。 これはMambaアーキテクチャの上に構築され、長距離依存関係を同時にキャプチャし、地域的特徴表現を強化する。 マルチスケールの畳み込みによって処理される特徴マップに対して適応的なパッチスキャンを行い、リッチなローカル領域情報をキャプチャする。
  論文  参考訳（メタデータ） (2025-08-14T11:31:43Z)
• Manifold-aware Representation Learning for Degradation-agnostic Image Restoration [135.90908995927194]
  画像復元(IR)は、ノイズ、ぼかし、迷路、雨、低照度といった様々な汚職に影響を受ける劣化した入力から高品質な画像を復元することを目的としている。 我々は、入力特徴空間を3つのセマンティックに整列した並列分岐に明示的に分解する1つのIRにおいて、すべてに統一されたフレームワークであるMIRAGEを提案する。 このモジュラ分解は、多種多様な分解の一般化と効率を大幅に改善する。
  論文  参考訳（メタデータ） (2025-05-24T12:52:10Z)
• AuxDet: Auxiliary Metadata Matters for Omni-Domain Infrared Small Target Detection [49.81255045696323]
  補助メタデータ駆動型赤外小型ターゲット検出器(AuxDet)について述べる。 AuxDetはメタデータセマンティクスと視覚的特徴を統合し、各サンプルに対する適応表現学習を導く。 挑戦的なWideIRSTD-Fullベンチマークの実験は、AuxDetが一貫して最先端のメソッドより優れていることを示した。
  論文  参考訳（メタデータ） (2025-05-21T07:02:05Z)
• Contrastive Learning-Based Spectral Knowledge Distillation for Multi-Modality and Missing Modality Scenarios in Semantic Segmentation [2.491548070992611]
  CSK-Netと呼ばれる新しいマルチモーダル融合手法を提案する。 対照的な学習に基づくスペクトル知識蒸留技術を用いる。 実験の結果、CSK-Netはマルチモーダルタスクや欠落したモダリティにおいて最先端のモデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2023-12-04T10:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。