論文の概要: RGBT Tracking via Progressive Fusion Transformer with Dynamically Guided Learning

• arxiv url: http://arxiv.org/abs/2303.14778v2
• Date: Sat, 22 Apr 2023 08:55:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 20:41:02.048989
• Title: RGBT Tracking via Progressive Fusion Transformer with Dynamically Guided Learning
• Title（参考訳）: 動的誘導学習を用いたプログレッシブフュージョン変換器によるRGBT追跡
• Authors: Yabin Zhu, Chenglong Li, Xiao Wang, Jin Tang, Zhixiang Huang
• Abstract要約: 本稿ではProFormerと呼ばれる新しいプログレッシブフュージョントランスを提案する。 単一のモダリティ情報をマルチモーダル表現に統合し、堅牢なRGBT追跡を行う。 ProFormerは、RGBT210、RGBT234、LasHeR、VTUAVデータセットに新しい最先端パフォーマンスを設定する。
• 参考スコア（独自算出の注目度）: 37.067605349559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Transformer-based RGBT tracking methods either use cross-attention to fuse the two modalities, or use self-attention and cross-attention to model both modality-specific and modality-sharing information. However, the significant appearance gap between modalities limits the feature representation ability of certain modalities during the fusion process. To address this problem, we propose a novel Progressive Fusion Transformer called ProFormer, which progressively integrates single-modality information into the multimodal representation for robust RGBT tracking. In particular, ProFormer first uses a self-attention module to collaboratively extract the multimodal representation, and then uses two cross-attention modules to interact it with the features of the dual modalities respectively. In this way, the modality-specific information can well be activated in the multimodal representation. Finally, a feed-forward network is used to fuse two interacted multimodal representations for the further enhancement of the final multimodal representation. In addition, existing learning methods of RGBT trackers either fuse multimodal features into one for final classification, or exploit the relationship between unimodal branches and fused branch through a competitive learning strategy. However, they either ignore the learning of single-modality branches or result in one branch failing to be well optimized. To solve these problems, we propose a dynamically guided learning algorithm that adaptively uses well-performing branches to guide the learning of other branches, for enhancing the representation ability of each branch. Extensive experiments demonstrate that our proposed ProFormer sets a new state-of-the-art performance on RGBT210, RGBT234, LasHeR, and VTUAV datasets.
• Abstract（参考訳）: 既存のTransformerベースのRGBTトラッキング手法では、2つのモダリティを融合するためにクロスアテンションを使用するか、自己アテンションとクロスアテンションを使用してモダリティ固有情報とモダリティ共有情報の両方をモデル化する。 しかしながら、モダリティ間の顕著な外観ギャップは、融合過程における特定のモダリティの特徴表現能力を制限する。 そこで本研究では,ロバストなrgbt追跡のためのマルチモーダル表現に単一モダリティ情報を段階的に統合するプログレッシブ・フュージョントランスフォーマを提案する。 特にProFormerは、まず自己注意モジュールを使用してマルチモーダル表現を協調的に抽出し、次に2つの相互注意モジュールを使用してそれぞれ二重モーダルの特徴と相互作用する。 このように、モダリティ固有の情報はマルチモーダル表現で活性化することができる。 最後に、フィードフォワードネットワークを用いて、2つの相互作用したマルチモーダル表現を融合し、最終的なマルチモーダル表現をさらに強化する。 さらに、既存のRGBTトラッカーの学習手法は、最終分類のためにマルチモーダル特徴を1つに融合するか、競争的学習戦略を通じて単調分岐と融合分岐の関係を利用する。 しかし、単一のモダリティブランチの学習を無視したり、ひとつのブランチが適切に最適化されない結果になる。 これらの問題を解決するために,各分岐の表現能力を高めるために,順応的に優れた分岐を用いて他の分岐の学習を誘導する動的学習アルゴリズムを提案する。 提案するproformerは,rgbt210,rgbt234,lasher,vtuavデータセットに新たな最先端性能をセットする。

関連論文リスト

• Masked Graph Learning with Recurrent Alignment for Multimodal Emotion Recognition in Conversation [12.455034591553506]
  対話におけるマルチモーダル感情認識(MERC)は、世論監視、インテリジェントな対話ロボット、その他の分野に適用することができる。 従来の作業では、マルチモーダル融合前のモーダル間アライメントプロセスとモーダル内ノイズ情報を無視していた。 我々は,MGLRA(Masked Graph Learning with Recursive Alignment)と呼ばれる新しい手法を開発し,この問題に対処した。
  論文  参考訳（メタデータ） (2024-07-23T02:23:51Z)
• Multimodal Information Interaction for Medical Image Segmentation [24.024848382458767]
  革新的マルチモーダル情報クロストランス(MicFormer)について紹介する。 あるモダリティから特徴を問合せし、対応する応答を別のモダリティから取り出し、バイモーダル特徴間の効果的なコミュニケーションを容易にする。 他のマルチモーダルセグメンテーション手法と比較して,本手法はそれぞれ2.83と4.23のマージンで優れていた。
  論文  参考訳（メタデータ） (2024-04-25T07:21:14Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation [29.157465321864265]
  そこで我々は,Nested Modality-Aware Transformer (NestedFormer) を提案する。 変換器をベースとしたマルチエンコーダと単一デコーダ構造に基づいて,異なるモードの高レベル表現に対してネストしたマルチモーダル融合を行う。
  論文  参考訳（メタデータ） (2022-08-31T14:04:25Z)
• LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences [5.570499497432848]
  マルチモーダル感情認識のためのCB-Transformer (LMR-CBT) を用いて, モダリティ融合表現を学習するための効率的なニューラルネットワークを提案する。 3つの挑戦的なデータセット上で、単語整列と非整列の実験を行います。
  論文  参考訳（メタデータ） (2021-12-03T03:43:18Z)
• Learning Deep Multimodal Feature Representation with Asymmetric Multi-layer Fusion [63.72912507445662]
  本稿では,マルチモーダルな特徴を複数の層に融合する,コンパクトで効果的なフレームワークを提案する。 我々は、エンコーダ内のモダリティ固有のバッチ正規化層を単に維持するだけで、共有シングルネットワーク内でマルチモーダル機能を学習できることを検証する。 次に,マルチモーダルな特徴を段階的に活用できる双方向多層融合方式を提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:42:13Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Accelerated Multi-Modal MR Imaging with Transformers [92.18406564785329]
  MR画像の高速化のためのマルチモーダルトランス(MTrans)を提案する。 トランスアーキテクチャを再構築することで、MTransは深いマルチモーダル情報をキャプチャする強力な能力を得ることができる。 i)MTransはマルチモーダルMRイメージングに改良されたトランスフォーマーを使用する最初の試みであり、CNNベースの手法と比較してよりグローバルな情報を提供する。
  論文  参考訳（メタデータ） (2021-06-27T15:01:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。