論文の概要: Adaptively Bypassing Vision Transformer Blocks for Efficient Visual Tracking
- arxiv url: http://arxiv.org/abs/2406.08037v1
- Date: Wed, 12 Jun 2024 09:39:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 17:34:43.173786
- Title: Adaptively Bypassing Vision Transformer Blocks for Efficient Visual Tracking
- Title（参考訳）: 視覚追跡のための視覚変換器ブロックを適応的にバイパスする
- Authors: Xiangyang Yang, Dan Zeng, Xucheng Wang, You Wu, Hengzhou Ye, Shuiwang Li,
- Abstract要約: ABTrackは、効率的な視覚追跡のためにトランスフォーマーブロックを適応的にバイパスする適応型計算フレームワークである。
本稿では,トランスブロックをバイパスすべきかどうかを判断するBypass Decision Module (BDM)を提案する。
我々は,各変圧器ブロックにおけるトークンの潜在表現の次元を小さくするために,プルーニング手法を革新的に適用する。
- 参考スコア（独自算出の注目度）: 5.9089796108568855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empowered by transformer-based models, visual tracking has advanced significantly. However, the slow speed of current trackers limits their applicability on devices with constrained computational resources. To address this challenge, we introduce ABTrack, an adaptive computation framework that adaptively bypassing transformer blocks for efficient visual tracking. The rationale behind ABTrack is rooted in the observation that semantic features or relations do not uniformly impact the tracking task across all abstraction levels. Instead, this impact varies based on the characteristics of the target and the scene it occupies. Consequently, disregarding insignificant semantic features or relations at certain abstraction levels may not significantly affect the tracking accuracy. We propose a Bypass Decision Module (BDM) to determine if a transformer block should be bypassed, which adaptively simplifies the architecture of ViTs and thus speeds up the inference process. To counteract the time cost incurred by the BDMs and further enhance the efficiency of ViTs, we innovatively adapt a pruning technique to reduce the dimension of the latent representation of tokens in each transformer block. Extensive experiments on multiple tracking benchmarks validate the effectiveness and generality of the proposed method and show that it achieves state-of-the-art performance. Code is released at: \href{https://github.com/1HykhqV3rU/ABTrack}
- Abstract（参考訳）: トランスフォーマーベースのモデルによって、視覚的トラッキングは大幅に進歩した。
しかし、現在のトラッカーの遅い速度は、制約のある計算資源を持つデバイスに適用性を制限する。
この課題に対処するために、効率的な視覚追跡のためにトランスフォーマーブロックを適応的にバイパスする適応型計算フレームワークであるABTrackを紹介する。
ABTrackの背後にある理論的根拠は、意味的特徴や関係がすべての抽象レベルにわたってトラッキングタスクに一様に影響を与えないという観察に根ざしている。
その代わり、この影響はターゲットの特徴とそれが占めるシーンによって異なる。
その結果、ある抽象レベルでの重要でない意味的特徴や関係を無視することは、追跡精度に大きく影響しない可能性がある。
本稿では,変換器ブロックをバイパスすべきかどうかを判断するBypass Decision Module (BDM)を提案し,ViTのアーキテクチャを適応的に単純化し,推論プロセスを高速化する。
各トランスブロックにおけるトークンの潜伏表現の次元を小さくするために,BDMによる時間コスト対策と,ViTの効率向上を両立させるため,プルーニング手法を革新的に適用した。
提案手法の有効性と汎用性を検証し,その性能を実証した。
コードは: \href{https://github.com/1HykhqV3rU/ABTrack} でリリースされている。
関連論文リスト
- Learning Motion Blur Robust Vision Transformers with Dynamic Early Exit for Real-Time UAV Tracking [14.382072224997074]
トレーニング済みのViTバックボーンを使用したシングルストリームアーキテクチャでは、パフォーマンス、効率、堅牢性が改善されている。
リアルタイムなUAV追跡のためにTransformerブロックを動的に終了する適応型フレームワークにすることで、このフレームワークの効率を向上する。
また, 動きのぼかし処理におけるViTsの有効性も改善した。これは, UAV, 追跡対象の速さ, あるいはその両方によって生じるUAVトラッキングの共通問題である。
論文 参考訳（メタデータ） (2024-07-07T14:10:04Z) - Reproducibility Study on Adversarial Attacks Against Robust Transformer Trackers [18.615714086028632]
新しいトランスフォーマーネットワークはオブジェクトトラッキングパイプラインに統合され、最新のベンチマークで強いパフォーマンスを示している。
本稿では, 逆攻撃におけるトランスフォーマートラッカーの挙動と, パラメータの変化に伴うデータセットの追跡において, 異なる攻撃がどう作用するかを理解することに焦点を当てる。
論文 参考訳（メタデータ） (2024-06-03T20:13:38Z) - Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。
DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。
複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
論文 参考訳（メタデータ） (2024-03-26T12:31:58Z) - Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。
DyTは既存のPEFT法と比較すると、同等またはそれ以上の性能を実現している。
論文 参考訳（メタデータ） (2024-03-18T14:05:52Z) - AViTMP: A Tracking-Specific Transformer for Single-Branch Visual Tracking [17.133735660335343]
本稿では,AViTMP(Adaptive ViT Model Prediction Tracker)を提案する。
この方法は、初めて識別モデルで単一ブランチネットワークをブリッジする。
AViTMPは、特に長期追跡とロバスト性の観点から、最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2023-10-30T13:48:04Z) - SGDViT: Saliency-Guided Dynamic Vision Transformer for UAV Tracking [12.447854608181833]
本研究は、UAV追跡のための新しいサリエンシ誘導動的視覚変換器(SGDViT)を提案する。
提案手法は,クロスコリレーション操作を洗練させるために,タスク固有の新たなオブジェクト・サリエンシ・マイニング・ネットワークを設計する。
軽量な塩分フィルタリング変換器は、さらに塩分情報を洗練し、外観情報に焦点を当てる。
論文 参考訳（メタデータ） (2023-03-08T05:01:00Z) - AiATrack: Attention in Attention for Transformer Visual Tracking [89.94386868729332]
トランスフォーマートラッカーは近年,注目機構が重要な役割を担っている,目覚ましい進歩を遂げている。
我々は,すべての相関ベクトル間のコンセンサスを求めることにより,適切な相関性を高め,誤相関を抑制する注意モジュール(AiA)を提案する。
我々のAiAモジュールは自己認識ブロックとクロスアテンションブロックの両方に容易に適用でき、視覚追跡のための特徴集約と情報伝達を容易にする。
論文 参考訳（メタデータ） (2022-07-20T00:44:03Z) - An Extendable, Efficient and Effective Transformer-based Object Detector [95.06044204961009]
我々は、視覚・検出変換器(ViDT)を統合し、効果的で効率的な物体検出装置を構築する。
ViDTは、最近のSwin Transformerをスタンドアロンのオブジェクト検出器に拡張するために、再構成されたアテンションモジュールを導入した。
オブジェクト検出とインスタンスセグメンテーションのための共同タスク学習をサポートするために、ViDT+に拡張する。
論文 参考訳（メタデータ） (2022-04-17T09:27:45Z) - Efficient Visual Tracking with Exemplar Transformers [98.62550635320514]
本稿では,リアルタイム物体追跡のための効率的な変換器であるExemplar Transformerを紹介する。
Exemplar Transformerレイヤを組み込んだビジュアルトラッカーであるE.T.Trackは、CPU上で47fpsで動作する。
これは、他のトランスモデルよりも最大8倍高速である。
論文 参考訳（メタデータ） (2021-12-17T18:57:54Z) - TransMOT: Spatial-Temporal Graph Transformer for Multiple Object
Tracking [74.82415271960315]
映像内の物体間の空間的・時間的相互作用を効率的にモデル化するソリューションであるTransMOTを提案する。
TransMOTは従来のTransformerよりも計算効率が高いだけでなく、トラッキング精度も向上している。
提案手法は、MOT15、MOT16、MOT17、MOT20を含む複数のベンチマークデータセット上で評価される。
論文 参考訳（メタデータ） (2021-04-01T01:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。