論文の概要: Cross-modulated Attention Transformer for RGBT Tracking

• arxiv url: http://arxiv.org/abs/2408.02222v1
• Date: Mon, 5 Aug 2024 03:54:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:36:03.804054
• Title: Cross-modulated Attention Transformer for RGBT Tracking
• Title（参考訳）: RGBT追尾用クロス変調アテンショントランス
• Authors: Yun Xiao, Jiacong Zhao, Andong Lu, Chenglong Li, Yin Lin, Bing Yin, Cong Liu,
• Abstract要約: 本稿では,RGBT追跡のためのCross-modulated Attention Transformer (CAFormer) という新しい手法を提案する。 特に,まず各モードの相関写像を独立に生成し,それらを設計した相関変調拡張モジュールに供給する。 5つの公開RGBT追跡ベンチマークの実験は、提案したCAFormerの最先端手法に対する優れた性能を示している。
• 参考スコア（独自算出の注目度）: 35.1700920590541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing Transformer-based RGBT trackers achieve remarkable performance benefits by leveraging self-attention to extract uni-modal features and cross-attention to enhance multi-modal feature interaction and template-search correlation computation. Nevertheless, the independent search-template correlation calculations ignore the consistency between branches, which can result in ambiguous and inappropriate correlation weights. It not only limits the intra-modal feature representation, but also harms the robustness of cross-attention for multi-modal feature interaction and search-template correlation computation. To address these issues, we propose a novel approach called Cross-modulated Attention Transformer (CAFormer), which performs intra-modality self-correlation, inter-modality feature interaction, and search-template correlation computation in a unified attention model, for RGBT tracking. In particular, we first independently generate correlation maps for each modality and feed them into the designed Correlation Modulated Enhancement module, modulating inaccurate correlation weights by seeking the consensus between modalities. Such kind of design unifies self-attention and cross-attention schemes, which not only alleviates inaccurate attention weight computation in self-attention but also eliminates redundant computation introduced by extra cross-attention scheme. In addition, we propose a collaborative token elimination strategy to further improve tracking inference efficiency and accuracy. Extensive experiments on five public RGBT tracking benchmarks show the outstanding performance of the proposed CAFormer against state-of-the-art methods.
• Abstract（参考訳）: 既存のTransformerベースのRGBTトラッカーは、自己アテンションを利用してユニモーダル特徴を抽出し、クロスアテンションを用いてマルチモーダル特徴の相互作用を強化し、テンプレート-検索相関計算により、優れたパフォーマンスを達成している。 それでも、独立した探索・テンプレート相関計算は分岐間の整合性を無視し、不明確な相関重みと不適切な相関重みをもたらす可能性がある。 モーダル内特徴表現を制限するだけでなく、マルチモーダル特徴相互作用とサーチ・テンプレート相関計算に対するクロスアテンションの堅牢性を損なう。 これらの問題に対処するため、RGBTトラッキングのための統合アテンションモデルにおいて、モダリティ内自己相関、モダリティ間特徴相互作用、検索テンプレート相関計算を行うCross-modulated Attention Transformer (CAFormer) という新しいアプローチを提案する。 特に,まず各モダリティの相関写像を独立に生成し,モダリティ間のコンセンサスを求めることにより,不正確な相関重みを変調して設計した相関変調拡張モジュールに供給する。 このような設計は、自己注意と相互注意のスキームを統一し、自己注意における不正確な注意重み計算を緩和するだけでなく、余分なクロスアテンションスキームによって導入された冗長な計算を除去する。 さらに,トラッキングの予測効率と精度をより高めるために,協調的なトークン除去戦略を提案する。 5つの公開RGBT追跡ベンチマークの大規模な実験は、提案したCAFormerの最先端手法に対する優れた性能を示している。

関連論文リスト

• Spuriousness-Aware Meta-Learning for Learning Robust Classifiers [26.544938760265136]
  Spurious correlations is brittle associations between certain attribute of inputs and target variables。 深部画像分類器はしばしばそれらを予測に利用し、相関が持たないデータの一般化が不十分になる。 スプリアス相関の影響を緩和することはロバストなモデル一般化に不可欠であるが、しばしばデータ内のスプリアス相関のアノテーションを必要とする。
  論文  参考訳（メタデータ） (2024-06-15T21:41:25Z)
• DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
  本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。 フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-05T06:18:03Z)
• Optimal Transport Guided Correlation Assignment for Multimodal Entity Linking [20.60198596317328]
  マルチモーダルエンティティリンクは、マルチモーダルなコンテキストにおける曖昧な言及をマルチモーダルな知識グラフ内のエンティティにリンクすることを目的としている。 既存の手法は、自動的に学習された注意重みに大きく依存して、いくつかの局所的な相関機構を試行する。 本稿では,OT-MELを用いた新しいMELフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• PerturbScore: Connecting Discrete and Continuous Perturbations in NLP [64.28423650146877]
  本稿では,離散摂動と連続摂動を結びつけることを目的とする。 回帰タスクをPerturbScoreとして設計し,相関関係を自動的に学習する。 離散摂動と連続摂動の接続を構築でき、提案したPerturbScoreを使ってそのような相関関係を学習できる。
  論文  参考訳（メタデータ） (2023-10-13T06:50:15Z)
• FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network [48.912196729711624]
  Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。 本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。 さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:31:13Z)
• Network inference via process motifs for lagged correlation in linear stochastic processes [0.5801044612920815]
  時系列データから因果推論を行う上での大きな課題は、計算可能性と精度のトレードオフである。 相関行列から容易に計算できるペアワイドエッジ測度(PEM)を用いて因果関係のネットワークを推論する。
  論文  参考訳（メタデータ） (2022-08-18T14:46:05Z)
• High-Performance Transformer Tracking [74.07751002861802]
  本稿では,シームズ様特徴抽出バックボーンをベースとしたTransformer Tracking(TransT)手法,設計した注意に基づく融合機構,分類と回帰ヘッドを提案する。 実験の結果,TransT法とTransT-M法は7つの一般的なデータセットに対して有望な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-25T09:33:29Z)
• A Tri-attention Fusion Guided Multi-modal Segmentation Network [2.867517731896504]
  本稿では,新しい三点融合による多モードセグメンテーションネットワークを提案する。 我々のネットワークは、N個の画像ソースを持つN個のモデル非依存の符号化パス、三つのアテンション融合ブロック、二重アテンション融合ブロック、デコードパスを含む。 実験の結果,BraTS 2018データセットを用いて脳腫瘍セグメント化実験を行い,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-11-02T14:36:53Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)
• Transformer Tracking [76.96796612225295]
  相関は追跡分野において、特に人気のあるシャム系トラッカーにおいて重要な役割を果たす。 本研究は,注意のみを用いてテンプレートと検索領域を効果的に結合した,新しい注意型特徴融合ネットワークを提案する。 実験により、TransTは6つの挑戦的なデータセットで非常に有望な結果が得られます。
  論文  参考訳（メタデータ） (2021-03-29T09:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。