論文の概要: MambaPro: Multi-Modal Object Re-Identification with Mamba Aggregation and Synergistic Prompt

• arxiv url: http://arxiv.org/abs/2412.10707v1
• Date: Sat, 14 Dec 2024 06:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:55:28.070340
• Title: MambaPro: Multi-Modal Object Re-Identification with Mamba Aggregation and Synergistic Prompt
• Title（参考訳）: MambaPro: Mamba AggregationとSynergistic Promptによるマルチモーダルオブジェクト再識別
• Authors: Yuhao Wang, Xuehu Liu, Tianyu Yan, Yang Liu, Aihua Zheng, Pingping Zhang, Huchuan Lu,
• Abstract要約: ReID(Multi-modal object Re-IDentification)は、異なるモダリティから補完的な画像情報を活用することで、特定のオブジェクトを検索することを目的としている。 近年、CLIPのような大規模事前学習モデルでは、従来のシングルモーダルオブジェクトReIDタスクで顕著なパフォーマンスを示している。 マルチモーダルオブジェクトReIDのための新しいフレームワークであるMambaProを紹介する。
• 参考スコア（独自算出の注目度）: 60.10555128510744
• License:
• Abstract: Multi-modal object Re-IDentification (ReID) aims to retrieve specific objects by utilizing complementary image information from different modalities. Recently, large-scale pre-trained models like CLIP have demonstrated impressive performance in traditional single-modal object ReID tasks. However, they remain unexplored for multi-modal object ReID. Furthermore, current multi-modal aggregation methods have obvious limitations in dealing with long sequences from different modalities. To address above issues, we introduce a novel framework called MambaPro for multi-modal object ReID. To be specific, we first employ a Parallel Feed-Forward Adapter (PFA) for adapting CLIP to multi-modal object ReID. Then, we propose the Synergistic Residual Prompt (SRP) to guide the joint learning of multi-modal features. Finally, leveraging Mamba's superior scalability for long sequences, we introduce Mamba Aggregation (MA) to efficiently model interactions between different modalities. As a result, MambaPro could extract more robust features with lower complexity. Extensive experiments on three multi-modal object ReID benchmarks (i.e., RGBNT201, RGBNT100 and MSVR310) validate the effectiveness of our proposed methods. The source code is available at https://github.com/924973292/MambaPro.
• Abstract（参考訳）: ReID(Multi-modal object Re-IDentification)は、異なるモダリティから補完的な画像情報を活用することで、特定のオブジェクトを検索することを目的としている。 近年、CLIPのような大規模事前学習モデルでは、従来のシングルモーダルオブジェクトReIDタスクで顕著なパフォーマンスを示している。 しかし、それらはマルチモーダルオブジェクト ReID に対して探索されていない。 さらに、現在のマルチモーダルアグリゲーション法は、異なるモーダルからの長いシーケンスを扱う際に明らかな制限がある。 上記の問題に対処するため,マルチモーダルオブジェクトReIDのためのMambaProという新しいフレームワークを導入する。 具体的には、まずParallel Feed-Forward Adapter (PFA)を用いて、CLIPをマルチモーダルオブジェクトReIDに適応させる。 そこで我々はSynergistic Residual Prompt (SRP)を提案する。 最後に,Mamba Aggregation (MA)を導入し,様々なモーダル間の相互作用を効率的にモデル化する。 その結果、MambaProはより堅牢な機能をより少ない複雑さで取り出すことができた。 3つのマルチモーダルオブジェクトReIDベンチマーク(RGBNT201, RGBNT100, MSVR310)の大規模な実験により,提案手法の有効性が検証された。 ソースコードはhttps://github.com/924973292/MambaProで入手できる。

関連論文リスト

• Adapting Segment Anything Model to Multi-modal Salient Object Detection with Semantic Feature Fusion Guidance [15.435695491233982]
  マルチモーダル・サリアン・オブジェクト検出(SOD)のためのSegment Anything Model(SAM)の強力な特徴表現とゼロショット一般化能力を探求し活用するための新しいフレームワークを提案する。 アンダーラインSAMとサブラインマンティックファウンダリナールファウンダリナールグダンクンダリナール(サマン)を併用して開発する。 画像エンコーダでは,マルチモーダルSAMをマルチモーダル情報に適用するためのマルチモーダルアダプタが提案されている。
  論文  参考訳（メタデータ） (2024-08-27T13:47:31Z)
• FoRA: Low-Rank Adaptation Model beyond Multimodal Siamese Network [19.466279425330857]
  そこで我々は,LMA(Low-rank Modal Adaptors)と呼ばれる新しいマルチモーダル物体検出器を提案する。 作業は2024年4月にACM MMに提出されたが拒否された。
  論文  参考訳（メタデータ） (2024-07-23T02:27:52Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Magic Tokens: Select Diverse Tokens for Multi-modal Object Re-Identification [64.36210786350568]
  マルチモーダルオブジェクトReIDのための視覚変換器から多様なトークンを選択するための,textbfEDITORという新しい学習フレームワークを提案する。 我々のフレームワークはマルチモーダルオブジェクトReIDに対してより差別的な機能を生成することができる。
  論文  参考訳（メタデータ） (2024-03-15T12:44:35Z)
• Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment [11.897888221717245]
  マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。 我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
  論文  参考訳（メタデータ） (2024-03-11T01:07:36Z)
• Generative Multimodal Models are In-Context Learners [60.50927925426832]
  我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。 Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
  論文  参考訳（メタデータ） (2023-12-20T18:59:58Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。