論文の概要: StitchFusion: Weaving Any Visual Modalities to Enhance Multimodal Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2408.01343v1
• Date: Fri, 2 Aug 2024 15:41:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 12:58:15.411517
• Title: StitchFusion: Weaving Any Visual Modalities to Enhance Multimodal Semantic Segmentation
• Title（参考訳）: StitchFusion: マルチモーダルセマンティックセマンティックセマンティックセグメンテーションを促進するために、あらゆる視覚モダリティを織る
• Authors: Bingyu Li, Da Zhang, Zhiyuan Zhao, Junyu Gao, Xuelong Li,
• Abstract要約: 我々は,大規模な事前学習モデルを直接エンコーダや機能フューザとして統合するフレームワークであるStitchFusionを提案する。 我々は,エンコーディング中に多方向アダプタモジュール(MultiAdapter)を導入し,モーダル間情報転送を実現する。 本モデルは,最小限の追加パラメータを持つ4つのマルチモーダルセグメンテーションデータセット上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 63.31007867379312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal semantic segmentation shows significant potential for enhancing segmentation accuracy in complex scenes. However, current methods often incorporate specialized feature fusion modules tailored to specific modalities, thereby restricting input flexibility and increasing the number of training parameters. To address these challenges, we propose StitchFusion, a straightforward yet effective modal fusion framework that integrates large-scale pre-trained models directly as encoders and feature fusers. This approach facilitates comprehensive multi-modal and multi-scale feature fusion, accommodating any visual modal inputs. Specifically, Our framework achieves modal integration during encoding by sharing multi-modal visual information. To enhance information exchange across modalities, we introduce a multi-directional adapter module (MultiAdapter) to enable cross-modal information transfer during encoding. By leveraging MultiAdapter to propagate multi-scale information across pre-trained encoders during the encoding process, StitchFusion achieves multi-modal visual information integration during encoding. Extensive comparative experiments demonstrate that our model achieves state-of-the-art performance on four multi-modal segmentation datasets with minimal additional parameters. Furthermore, the experimental integration of MultiAdapter with existing Feature Fusion Modules (FFMs) highlights their complementary nature. Our code is available at StitchFusion_repo.
• Abstract（参考訳）: 多モーダルセマンティックセグメンテーションは複雑なシーンにおけるセグメンテーションの精度を高める重要な可能性を示している。 しかし、現在の手法では、特定のモダリティに合わせて特別な機能融合モジュールを組み込んでおり、入力の柔軟性を制限し、トレーニングパラメータの数を増やしている。 これらの課題に対処するために,大規模な事前学習モデルを直接エンコーダや機能フューザとして統合する,単純かつ効果的なモーダル融合フレームワークであるStitchFusionを提案する。 このアプローチは、視覚的なモーダル入力を調節する、包括的なマルチモーダルとマルチスケールの機能融合を促進する。 具体的には,マルチモーダル視覚情報を共有することで,符号化時のモーダル統合を実現する。 モダリティ間の情報交換を強化するため,エンコーディング中に多方向アダプタモジュール(MultiAdapter)を導入し,モダリティ間の情報伝達を実現する。 符号化プロセスにおいて、MultiAdapterを活用して、事前訓練されたエンコーダ間でマルチスケール情報を伝達することにより、エンコーダ中にマルチモーダルな視覚情報統合を実現する。 大規模比較実験により,最小限の追加パラメータを持つ4つのマルチモーダルセグメンテーションデータセットの最先端性能が得られた。 さらに、MultiAdapterと既存のFeature Fusion Modules (FFMs)との実験的統合は、それらの相補的な性質を強調している。 私たちのコードはStitchFusion_repoで利用可能です。

関連論文リスト

• Part-Whole Relational Fusion Towards Multi-Modal Scene Understanding [51.96911650437978]
  マルチモーダル融合はマルチモーダルシーン理解において重要な役割を担っている。 既存のほとんどの手法は、2つのモダリティを含むクロスモーダル融合に焦点を当てており、しばしばより複雑なマルチモーダル融合を見落としている。 マルチモーダルシーン理解のためのPWRF(Relational Part-Whole Fusion)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-19T02:27:30Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Multimodal Information Interaction for Medical Image Segmentation [24.024848382458767]
  革新的マルチモーダル情報クロストランス(MicFormer)について紹介する。 あるモダリティから特徴を問合せし、対応する応答を別のモダリティから取り出し、バイモーダル特徴間の効果的なコミュニケーションを容易にする。 他のマルチモーダルセグメンテーション手法と比較して,本手法はそれぞれ2.83と4.23のマージンで優れていた。
  論文  参考訳（メタデータ） (2024-04-25T07:21:14Z)
• MMSFormer: Multimodal Transformer for Material and Semantic Segmentation [16.17270247327955]
  本稿では,異なるモダリティの組み合わせから情報を効果的に融合できる新しい融合戦略を提案する。 また,MMSFormer(Multi-Modal TransFormer)と呼ばれる新たなモデルを提案する。 MMSFormerは、現在の最先端モデルを3つの異なるデータセットで上回る。
  論文  参考訳（メタデータ） (2023-09-07T20:07:57Z)
• Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion [112.27103169303184]
  マルチモーダル知識グラフ(MKG)は、視覚テキストの事実知識を整理する。 MKGformerは、マルチモーダルリンク予測、マルチモーダルRE、マルチモーダルNERの4つのデータセット上でSOTA性能を得ることができる。
  論文  参考訳（メタデータ） (2022-05-04T23:40:04Z)
• Multimodal Token Fusion for Vision Transformers [54.81107795090239]
  変換器を用いた視覚タスクのためのマルチモーダルトークン融合法(TokenFusion)を提案する。 複数のモダリティを効果的に融合させるために、TokenFusionは動的に非形式的トークンを検出し、これらのトークンを投影および集約されたモジュール間特徴に置き換える。 TokenFusionの設計により、トランスフォーマーはマルチモーダル特徴間の相関を学習できるが、シングルモーダルトランスアーキテクチャはほとんど無傷である。
  論文  参考訳（メタデータ） (2022-04-19T07:47:50Z)
• Encoder Fusion Network with Co-Attention Embedding for Referring Image Segmentation [87.01669173673288]
  本稿では,視覚的エンコーダをマルチモーダルな特徴学習ネットワークに変換するエンコーダ融合ネットワーク(EFN)を提案する。 EFNには、マルチモーダル機能の並列更新を実現するコアテンションメカニズムが組み込まれている。 4つのベンチマークデータセットによる実験結果から,提案手法がポストプロセッシングを伴わずに最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-05-05T02:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。