論文の概要: CSFNet: A Cosine Similarity Fusion Network for Real-Time RGB-X Semantic Segmentation of Driving Scenes

• arxiv url: http://arxiv.org/abs/2407.01328v1
• Date: Mon, 1 Jul 2024 14:34:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 21:10:33.566200
• Title: CSFNet: A Cosine Similarity Fusion Network for Real-Time RGB-X Semantic Segmentation of Driving Scenes
• Title（参考訳）: CSFNet:運転シーンのリアルタイムRGB-Xセマンティックセマンティックセグメンテーションのためのコサイン類似フュージョンネットワーク
• Authors: Danial Qashqai, Emad Mousavian, Shahriar Baradaran Shokouhi, Sattar Mirzakuchaki,
• Abstract要約: マルチモーダルなセマンティックセグメンテーション手法は、高い計算複雑性と低い推論速度に悩まされる。 本稿では,リアルタイムRGB-XセマンティックセマンティックセグメンテーションモデルとしてCosine similarity Fusion Network (CSFNet)を提案する。 CSFNetは最先端の手法と競合する精度を持ち、速度に関しては最先端の手法である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation, as a crucial component of complex visual interpretation, plays a fundamental role in autonomous vehicle vision systems. Recent studies have significantly improved the accuracy of semantic segmentation by exploiting complementary information and developing multimodal methods. Despite the gains in accuracy, multimodal semantic segmentation methods suffer from high computational complexity and low inference speed. Therefore, it is a challenging task to implement multimodal methods in driving applications. To address this problem, we propose the Cosine Similarity Fusion Network (CSFNet) as a real-time RGB-X semantic segmentation model. Specifically, we design a Cosine Similarity Attention Fusion Module (CS-AFM) that effectively rectifies and fuses features of two modalities. The CS-AFM module leverages cross-modal similarity to achieve high generalization ability. By enhancing the fusion of cross-modal features at lower levels, CS-AFM paves the way for the use of a single-branch network at higher levels. Therefore, we use dual and single-branch architectures in an encoder, along with an efficient context module and a lightweight decoder for fast and accurate predictions. To verify the effectiveness of CSFNet, we use the Cityscapes, MFNet, and ZJU datasets for the RGB-D/T/P semantic segmentation. According to the results, CSFNet has competitive accuracy with state-of-the-art methods while being state-of-the-art in terms of speed among multimodal semantic segmentation models. It also achieves high efficiency due to its low parameter count and computational complexity. The source code for CSFNet will be available at https://github.com/Danial-Qashqai/CSFNet.
• Abstract（参考訳）: セマンティックセグメンテーション(Semantic segmentation)は、複雑な視覚解釈の重要な構成要素であり、自動運転車の視覚システムにおいて基本的な役割を担っている。 近年の研究では、補完的な情報を活用し、マルチモーダルな手法を開発することにより、意味的セグメンテーションの精度を大幅に改善している。 精度の向上にもかかわらず、マルチモーダルなセマンティックセグメンテーション手法は高い計算複雑性と低い推論速度に悩まされている。 したがって、アプリケーションを駆動する上でマルチモーダルな手法を実装することは難しい課題である。 この問題を解決するために,実時間RGB-XセマンティックセマンティックセグメンテーションモデルとしてCosine similarity Fusion Network (CSFNet)を提案する。 具体的には、2つのモードの特徴を効果的に修正・融合するcosine similarity Attention Fusion Module (CS-AFM) を設計する。 CS-AFMモジュールはクロスモーダルな類似性を利用して高い一般化能力を実現する。 CS-AFMは、低レベルにおけるクロスモーダルな特徴の融合を強化することにより、より高レベルなシングルブランチネットワークの利用の道を開く。 したがって、エンコーダには2つのアーキテクチャと1つのブランチアーキテクチャを使用し、高速かつ正確な予測を行うための効率的なコンテキストモジュールと軽量デコーダも備えている。 CSFNetの有効性を検証するために、RGB-D/T/PセマンティックセグメンテーションにCityscapes、MFNet、ZJUデータセットを使用する。 結果によると、CSFNetは、マルチモーダルセマンティックセグメンテーションモデルにおいて、最先端の手法と競合する精度を保ちながら、最先端の手法と競合する。 また、パラメータ数と計算の複雑さが低いため、高い効率を達成する。 CSFNetのソースコードはhttps://github.com/Danial-Qashqai/CSFNetで入手できる。

関連論文リスト

• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• ELGC-Net: Efficient Local-Global Context Aggregation for Remote Sensing Change Detection [65.59969454655996]
  本稿では,変化領域を正確に推定するために,リッチな文脈情報を利用する効率的な変化検出フレームワークELGC-Netを提案する。 提案するELGC-Netは、リモートセンシング変更検出ベンチマークにおいて、最先端の性能を新たに設定する。 また,ELGC-Net-LWも導入した。
  論文  参考訳（メタデータ） (2024-03-26T17:46:25Z)
• Bilateral Network with Residual U-blocks and Dual-Guided Attention for Real-time Semantic Segmentation [18.393208069320362]
  注意計算によって導かれる2分岐アーキテクチャのための新しい融合機構を設計する。 正確には、DGA(Dual-Guided Attention)モジュールを使用して、いくつかのマルチスケール変換を置き換えることを提案した。 Cityscapes と CamVid のデータセットを用いた実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-10-31T09:20:59Z)
• Spatial-information Guided Adaptive Context-aware Network for Efficient RGB-D Semantic Segmentation [9.198120596225968]
  計算パラメータを削減し,アルゴリズムの堅牢性を保証する,効率的な軽量エンコーダデコーダネットワークを提案する。 また,NYUv2,SUN RGB-D,Cityscapesのデータセットを用いた実験結果から,本手法は最先端手法よりもセグメンテーション精度,推定時間,パラメータのトレードオフが良好であることが示された。
  論文  参考訳（メタデータ） (2023-08-11T09:02:03Z)
• WCCNet: Wavelet-integrated CNN with Crossmodal Rearranging Fusion for Fast Multispectral Pedestrian Detection [16.43119521684829]
  我々は、異なるスペクトルのリッチな特徴をより少ない計算量で差分抽出できる WCCNet という新しいフレームワークを提案する。 よく抽出された特徴に基づき、我々はクロスモーダル再配置核融合モジュール(CMRF)を精巧に設計する。 我々はKAISTおよびFLIRベンチマークの総合評価を行い、WCCNetは計算効率と競争精度で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-02T09:35:21Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer [63.25665813125223]
  本稿では,リアルタイムセマンティックセグメンテーションのための効率的なデュアルレゾリューション変換器RTFormerを提案する。 CNNベースのモデルよりもパフォーマンスと効率のトレードオフが優れている。 主要なベンチマーク実験では,提案したRTFormerの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-13T16:03:53Z)
• CENet: Toward Concise and Efficient LiDAR Semantic Segmentation for Autonomous Driving [4.6193503399184275]
  我々はtextbfCENet という画像に基づくセマンティックセマンティックセマンティックネットワークを提案する。 当社のパイプラインは,最先端モデルと比較して,mIoUと推論性能がはるかに向上している。
  論文  参考訳（メタデータ） (2022-07-26T07:22:19Z)
• MSCFNet: A Lightweight Network With Multi-Scale Context Fusion for Real-Time Semantic Segmentation [27.232578592161673]
  マルチスケールコンテキスト融合スキーム(MSCFNet)を用いた新しい軽量ネットワークを考案する。 提案されたMSCFNetは1.15Mパラメータのみを含み、71.9%のMean IoUを実現し、1つのTitan XP GPU構成で50 FPS以上で実行できる。
  論文  参考訳（メタデータ） (2021-03-24T08:28:26Z)
• EfficientFCN: Holistically-guided Decoding for Semantic Segmentation [49.27021844132522]
  最先端セマンティックセマンティックセグメンテーションアルゴリズムは主に拡張されたFully Convolutional Networks (DilatedFCN)に基づいている 本稿では,拡張畳み込みのないイメージネット事前学習ネットワークをバックボーンとする,効率的なFCNを提案する。 このようなフレームワークは、計算コストの1/3しか持たない最先端の手法に比べて、同等またはそれ以上の性能を達成する。
  論文  参考訳（メタデータ） (2020-08-24T14:48:23Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。