Fugu-MT 論文翻訳(概要): MMSFormer: Multimodal Transformer for Material and Semantic Segmentation

論文の概要: MMSFormer: Multimodal Transformer for Material and Semantic Segmentation

arxiv url: http://arxiv.org/abs/2309.04001v4
Date: Sun, 7 Apr 2024 22:46:13 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 04:47:47.126064
Title: MMSFormer: Multimodal Transformer for Material and Semantic Segmentation
Title（参考訳）: MMSFormer: 材料・セマンティックセグメンテーション用マルチモーダルトランス
Authors: Md Kaykobad Reza, Ashley Prater-Bennette, M. Salman Asif,
Abstract要約: 本稿では,異なるモダリティの組み合わせから情報を効果的に融合できる新しい融合戦略を提案する。また,MMSFormer(Multi-Modal TransFormer)と呼ばれる新たなモデルを提案する。 MMSFormerは、現在の最先端モデルを3つの異なるデータセットで上回る。
参考スコア（独自算出の注目度）: 16.17270247327955
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Leveraging information across diverse modalities is known to enhance performance on multimodal segmentation tasks. However, effectively fusing information from different modalities remains challenging due to the unique characteristics of each modality. In this paper, we propose a novel fusion strategy that can effectively fuse information from different modality combinations. We also propose a new model named Multi-Modal Segmentation TransFormer (MMSFormer) that incorporates the proposed fusion strategy to perform multimodal material and semantic segmentation tasks. MMSFormer outperforms current state-of-the-art models on three different datasets. As we begin with only one input modality, performance improves progressively as additional modalities are incorporated, showcasing the effectiveness of the fusion block in combining useful information from diverse input modalities. Ablation studies show that different modules in the fusion block are crucial for overall model performance. Furthermore, our ablation studies also highlight the capacity of different input modalities to improve performance in the identification of different types of materials. The code and pretrained models will be made available at https://github.com/csiplab/MMSFormer.
Abstract（参考訳）: 多様なモダリティにまたがる情報を活用することで、マルチモーダルセグメンテーションタスクの性能を高めることが知られている。しかし、各モーダルの特異な特徴のため、異なるモーダルから効果的に情報を融合することは依然として困難である。本稿では,異なるモダリティの組み合わせから情報を効果的に融合できる新しい融合戦略を提案する。また,MMSFormer(Multi-Modal Segmentation TransFormer)と呼ばれる新しいモデルを提案する。 MMSFormerは、現在の最先端モデルを3つの異なるデータセットで上回る。 1つの入力モダリティのみから始めると、追加のモダリティが組み込まれるにつれて、性能が徐々に向上し、多様な入力モダリティから有用な情報を組み合わせる上で、融合ブロックの有効性が示される。アブレーション研究では、融合ブロック内の異なるモジュールが全体のモデル性能に不可欠であることが示されている。さらに, 異なる種類の材料を識別する際の性能を向上させるために, 異なる入力モダリティの能力についても検討した。コードと事前訓練されたモデルはhttps://github.com/csiplab/MMSFormer.comで入手できる。

関連論文リスト

U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-24T08:58:48Z)
Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文参考訳（メタデータ） (2024-05-06T11:02:02Z)
Multimodal Information Interaction for Medical Image Segmentation [24.024848382458767]
革新的マルチモーダル情報クロストランス(MicFormer)について紹介する。あるモダリティから特徴を問合せし、対応する応答を別のモダリティから取り出し、バイモーダル特徴間の効果的なコミュニケーションを容易にする。他のマルチモーダルセグメンテーション手法と比較して,本手法はそれぞれ2.83と4.23のマージンで優れていた。
論文参考訳（メタデータ） (2024-04-25T07:21:14Z)
Model Composition for Multimodal Large Language Models [73.70317850267149]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文参考訳（メタデータ） (2024-02-20T06:38:10Z)
CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
論文参考訳（メタデータ） (2024-02-08T18:27:22Z)
Multimodal Action Quality Assessment [40.10252351858076]
アクション品質アセスメント(AQA)とは、アクションがどれだけうまく実行されるかを評価することである。我々は、AQAは視覚情報に強く依存しているが、オーディオはスコアの回帰精度を向上させるのに有用な補完情報であると主張している。本稿では,モーダリティ固有情報と混合モーダリティ情報を個別にモデル化するプログレッシブ・アダプティブ・マルチモーダル・フュージョン・ネットワーク(PAMFN)を提案する。
論文参考訳（メタデータ） (2024-01-31T15:37:12Z)
Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文参考訳（メタデータ） (2023-11-06T13:56:57Z)
MM-GEF: Multi-modal representation meet collaborative filtering [51.04679619309803]
本稿では,グラフアーリーフュージョンを用いたマルチモーダルレコメンデーション MM-GEF を提案する。 MM-GEFはマルチモーダル信号と協調信号の両方から得られる構造情報を注入することにより、洗練された項目表現を学習する。
論文参考訳（メタデータ） (2023-08-14T15:47:36Z)
Step fusion: Local and global mutual guidance [3.0903319879656084]
特徴空間内に一貫した表現を持つように、異なるモダリティから特徴情報を段階的にシフト・拡張する多モーダル情報を完全に融合する特徴アライメント手法を提案する。提案手法は,異なるモダリティの特徴間の高レベル相互作用を頑健に捉えることができ,マルチモーダル学習の性能を大幅に向上させることができる。
論文参考訳（メタデータ） (2023-06-29T13:49:06Z)
MEAformer: Multi-modal Entity Alignment Transformer for Meta Modality Hybrid [40.745848169903105]
マルチモーダル・エンティティ・アライメント(MMEA)は、異なる知識グラフにまたがる同一のエンティティを発見することを目的としている。 MMEAアルゴリズムはマルチモーダル実体表現のためのKGレベルのモダリティ融合戦略に依存している。本稿ではメタモダリティハイブリッドのためのマルチモーダルエンティティアライメントトランスであるMEAformerを紹介する。
論文参考訳（メタデータ） (2022-12-29T20:49:58Z)
Multimodal E-Commerce Product Classification Using Hierarchical Fusion [0.0]
提案手法は,本課題における一助モデルの性能と類似モデルの性能を有意に向上させた。我々は,複数のヒューズ技術を用いて実験を行い,単一モーダルネットワークの個別埋め込みを結合する最も優れた手法は,結合と特徴ベクトルの平均化によるものであることを確認した。
論文参考訳（メタデータ） (2022-07-07T14:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。