論文の概要: Multimodal Fusion of RGB and Complementary Modalities for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2610.17800v1
• Date: Tue, 13 Oct 2026 06:29:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:09:21.208655
• Title: Multimodal Fusion of RGB and Complementary Modalities for Semantic Segmentation
• Title（参考訳）: セマンティックセグメンテーションのためのRGBと相補モーダリティの多モード融合
• Abstract要約: マルチモーダルセマンティックセグメンテーションは、熱、LiDAR、深さ、イベント、偏光、光場などのRGBイメージ(RGB-X)に補助的なセンシングストリームを追加する。 本稿では,両方向の極性を考慮した相互モード融合(BPCF)モジュールを提案する。 我々は,RGB-Thermal,RGB-LiDAR,RGB-Depth,RGB-Event,RGB-Polarization,RGB-Light Fieldの6つのモードペアリングのフレームワークを評価する。
• 参考スコア（独自算出の注目度）: 41.36685121424494
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-modal semantic segmentation adds an auxiliary sensing stream to RGB images (RGB-X), such as thermal, LiDAR, depth, event, polarization, or light field. This can improve robustness in poor lighting and under motion blur. But different sensors often produce features that do not match well, and fusion can become unstable. To alleviate these issues, we propose a bidirectional polarity-aware cross-modality fusion (BPCF) module that effectively captures complementary cues while enhancing feature alignment. We evaluate the framework on six modality pairings: RGB-Thermal, RGB-LiDAR, RGB-Depth, RGB-Event, RGB-Polarization, and RGB-Light Field. Our model achieve state-of-the-art (SOTA) results on eight public datasets, including MFNet, KITTI-360, DELIVER, DDD17, DSEC, MCubeS, ZJU, and UrbanLF. The codes and trained models will be released upon acceptance.
• Abstract（参考訳）: マルチモーダルセマンティックセグメンテーションは、熱、LiDAR、深さ、イベント、偏光、光場などのRGBイメージ(RGB-X)に補助的なセンシングストリームを追加する。 これにより、照明が悪く、動きがぼやけているときの頑丈さが向上する。 しかし、異なるセンサーはよくうまく一致しない特徴を生み出し、融合は不安定になる可能性がある。 これらの問題を緩和するために,両方向の極性を考慮した相互モード融合(BPCF)モジュールを提案する。 我々は,RGB-Thermal,RGB-LiDAR,RGB-Depth,RGB-Event,RGB-Polarization,RGB-Light Fieldの6つのモードペアリングのフレームワークを評価する。 我々のモデルは、MFNet、KITTI-360、DELIVER、DDD17、DSEC、MCubeS、ZJU、UrbanLFを含む8つの公開データセットに対して、最先端のSOTA(State-of-the-art)結果を達成する。 コードとトレーニングされたモデルは、受け入れ次第リリースされる。

関連論文リスト

• Frequency-Guided Fusion For RGB-Thermal Semantic Segmentation [0.6187780920448871]
  本稿では,2つのConvNeXt V2バックボーン上に構築されたマルチモーダル核融合アーキテクチャを提案する。 MFNetとPST900の実験では、我々の最も軽い変種はそれぞれ61.73%、86.24% mIoUであり、35.43Mのパラメータしか得られていない。
  論文  参考訳（メタデータ） (2026-05-25T18:57:22Z)
• HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection [75.406055413928]
  RGB-T SODのための新しいプロンプト駆動セグメントモデル(HyPSAM)を提案する。 DFNetは動的畳み込みとマルチブランチデコーディングを使用して、適応的な相互モダリティ相互作用を促進する。 3つの公開データセットの実験により,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-09-23T07:32:11Z)
• TUNI: Real-time RGB-T Semantic Segmentation with Unified Multi-Modal Feature Extraction and Cross-Modal Feature Fusion [11.878642970457646]
  RGB-thermal(RGB-T)セマンティックセマンティックセグメンテーションは、挑戦的な条件下での自律型プラットフォームの環境認識を改善する。 一般的なモデルは、RGBイメージに事前訓練されたエンコーダを使用して、RGBと赤外線の両方の入力から特徴を抽出する。 マルチモーダル特徴抽出とクロスモーダル融合を同時に行う複数の積み重ねブロックからなるRGB-Tエンコーダを用いたTUNIを提案する。
  論文  参考訳（メタデータ） (2025-09-12T07:02:45Z)
• Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
  高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。 提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
  論文  参考訳（メタデータ） (2025-01-25T06:21:06Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• CMX: Cross-Modal Fusion for RGB-X Semantic Segmentation with Transformers [36.49497394304525]
  RGB-Xセマンティックセグメンテーションのための統合融合フレームワークCMXを提案する。 クロスモーダル・フィーチャー・リクティフィケーション・モジュール (CM-FRM) を用いてバイモーダル特徴を校正する。 我々はRGBを補完する5つのモード、すなわち深さ、熱、偏光、事象、LiDARを統一する。
  論文  参考訳（メタデータ） (2022-03-09T16:12:08Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。