論文の概要: LiteTrack: Layer Pruning with Asynchronous Feature Extraction for Lightweight and Efficient Visual Tracking

• arxiv url: http://arxiv.org/abs/2309.09249v1
• Date: Sun, 17 Sep 2023 12:01:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 16:43:44.342640
• Title: LiteTrack: Layer Pruning with Asynchronous Feature Extraction for Lightweight and Efficient Visual Tracking
• Title（参考訳）: litetrack: 軽量かつ効率的なビジュアルトラッキングのための非同期機能抽出によるレイヤプルーニング
• Authors: Qingmao Wei, Bi Zeng, Jianqi Liu, Li He, Guotian Zeng
• Abstract要約: LiteTrackは、様々なデバイスにわたる高速操作に最適化された効率的なトランスフォーマーベースのトラッキングモデルである。 他の軽量トラッカーよりも精度と効率のトレードオフが良好である。 LiteTrack-B9はGOT-10kで72.2%AO、TrackingNetで82.4%AUC、NVIDIA 2080Ti GPUで171fpsで動作する。
• 参考スコア（独自算出の注目度）: 4.179339279095506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent advancements in transformer-based visual trackers have led to significant progress, attributed to their strong modeling capabilities. However, as performance improves, running latency correspondingly increases, presenting a challenge for real-time robotics applications, especially on edge devices with computational constraints. In response to this, we introduce LiteTrack, an efficient transformer-based tracking model optimized for high-speed operations across various devices. It achieves a more favorable trade-off between accuracy and efficiency than the other lightweight trackers. The main innovations of LiteTrack encompass: 1) asynchronous feature extraction and interaction between the template and search region for better feature fushion and cutting redundant computation, and 2) pruning encoder layers from a heavy tracker to refine the balnace between performance and speed. As an example, our fastest variant, LiteTrack-B4, achieves 65.2% AO on the GOT-10k benchmark, surpassing all preceding efficient trackers, while running over 100 fps with ONNX on the Jetson Orin NX edge device. Moreover, our LiteTrack-B9 reaches competitive 72.2% AO on GOT-10k and 82.4% AUC on TrackingNet, and operates at 171 fps on an NVIDIA 2080Ti GPU. The code and demo materials will be available at https://github.com/TsingWei/LiteTrack.
• Abstract（参考訳）: トランスフォーマーベースのビジュアルトラッカーの最近の進歩は、その強力なモデリング能力による大きな進歩をもたらした。 しかし、パフォーマンスが向上するにつれてレイテンシが向上し、特に計算制約のあるエッジデバイスにおいて、リアルタイムロボティクスアプリケーションに課題が生じる。 これに対応して,様々なデバイス間の高速操作に最適化された効率的なトランスフォーマーベーストラッキングモデルLiteTrackを導入する。 他の軽量トラッカーと比べて精度と効率のトレードオフが有利だ。 LiteTrackの主なイノベーションは次のとおりである。 1)非同期特徴抽出とテンプレートと検索領域の相互作用による特徴量除去と冗長計算の削減 2) ヘビートラッカからエンコーダ層を刈り取って, 性能と速度の差を洗練させる。 例えば、私たちの最速の変種であるlitetrack-b4は、got-10kベンチマークで65.2%のaoを達成し、以前のすべての効率的なトラッカーを上回り、jetsonやnx edgeデバイス上で100fps以上動作しています。 さらに、私たちのLiteTrack-B9はGOT-10kで72.2% AO、TrackingNetで82.4% AUCに達し、NVIDIA 2080Ti GPUで171fpsで動作する。 コードとデモ資料はhttps://github.com/tsingwei/litetrackで入手できる。

関連論文リスト

• Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
  効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。 DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。 複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
  論文  参考訳（メタデータ） (2024-03-26T12:31:58Z)
• Mobile Vision Transformer-based Visual Object Tracking [3.9160947065896803]
  バックボーンとしてMobileViTを用いた,軽量で高精度かつ高速なトラッキングアルゴリズムを提案する。 提案手法は,モデルのパラメータが4.7倍少なく,GPUの2.8倍の速度で動作するにもかかわらず,一般的なDMP-50トラッカーよりも優れている。
  論文  参考訳（メタデータ） (2023-09-11T21:16:41Z)
• Exploring Lightweight Hierarchical Vision Transformers for Efficient Visual Tracking [69.89887818921825]
  HiTは、さまざまなデバイス上で高速に動作可能な、効率的なトラッキングモデルの新たなファミリーだ。 HiTはLaSOTベンチマークで64.6%のAUCを達成した。
  論文  参考訳（メタデータ） (2023-08-14T02:51:34Z)
• Efficient Visual Tracking via Hierarchical Cross-Attention Transformer [82.92565582642847]
  本稿では,HCAT と呼ばれる階層型クロスアテンショントランスを用いた効率的な追跡手法を提案する。 当社のモデルは、GPUで約195fps、CPUで45fps、NVidia Jetson AGX XavierのエッジAIプラットフォームで55fpsで動作します。
  論文  参考訳（メタデータ） (2022-03-25T09:45:27Z)
• Efficient Visual Tracking with Exemplar Transformers [98.62550635320514]
  本稿では,リアルタイム物体追跡のための効率的な変換器であるExemplar Transformerを紹介する。 Exemplar Transformerレイヤを組み込んだビジュアルトラッカーであるE.T.Trackは、CPU上で47fpsで動作する。 これは、他のトランスモデルよりも最大8倍高速である。
  論文  参考訳（メタデータ） (2021-12-17T18:57:54Z)
• SwinTrack: A Simple and Strong Baseline for Transformer Tracking [81.65306568735335]
  完全注意型トランスフォーマートラッキングアルゴリズムSwin-Transformer Tracker(SwinTrack)を提案する。 SwinTrackは、機能抽出と機能融合の両方にTransformerを使用し、ターゲットオブジェクトと検索領域の間の完全なインタラクションを可能にする。 我々の徹底的な実験で、SwinTrackはLaSOT上で0.717 SUCで新しい記録を樹立し、45FPSで走りながらSTARKを4.6%上回った。
  論文  参考訳（メタデータ） (2021-12-02T05:56:03Z)
• LightTrack: Finding Lightweight Neural Networks for Object Tracking via One-Shot Architecture Search [104.84999119090887]
  ニューラルアーキテクチャサーチ(NAS)を用いて、より軽量で効率的なオブジェクトトラッカーを設計するLightTrackを提案する。 総合的な実験は、LightTrackが効果的であることを示している。 SiamRPN++やOceanといった手作りのSOTAトラッカーよりも優れたパフォーマンスを実現するトラッカーを見つけることができる。
  論文  参考訳（メタデータ） (2021-04-29T17:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。