論文の概要: TAPTR: Tracking Any Point with Transformers as Detection

• arxiv url: http://arxiv.org/abs/2403.13042v1
• Date: Tue, 19 Mar 2024 17:57:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 20:59:01.696030
• Title: TAPTR: Tracking Any Point with Transformers as Detection
• Title（参考訳）: TAPTR: トランスフォーマーを検出として任意のポイントを追跡する
• Authors: Hongyang Li, Hao Zhang, Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Lei Zhang,
• Abstract要約: TRansformer (TAPTR) を用いた任意の点追跡のためのシンプルで強力なフレームワークを提案する。 点追跡は物体検出と追跡に非常によく似ているという観測に基づいて,TAPの課題に対処するためにDETRライクなアルゴリズムから設計を借りる。 提案フレームワークは,高速な推論速度を持つ様々なTAPデータセットに対して,最先端の性能で高い性能を示す。
• 参考スコア（独自算出の注目度）: 33.50183504731619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a simple and strong framework for Tracking Any Point with TRansformers (TAPTR). Based on the observation that point tracking bears a great resemblance to object detection and tracking, we borrow designs from DETR-like algorithms to address the task of TAP. In the proposed framework, in each video frame, each tracking point is represented as a point query, which consists of a positional part and a content part. As in DETR, each query (its position and content feature) is naturally updated layer by layer. Its visibility is predicted by its updated content feature. Queries belonging to the same tracking point can exchange information through self-attention along the temporal dimension. As all such operations are well-designed in DETR-like algorithms, the model is conceptually very simple. We also adopt some useful designs such as cost volume from optical flow models and develop simple designs to provide long temporal information while mitigating the feature drifting issue. Our framework demonstrates strong performance with state-of-the-art performance on various TAP datasets with faster inference speed.
• Abstract（参考訳）: 本稿では,TRansformers (TAPTR) を用いた任意の点追跡のためのシンプルで強力なフレームワークを提案する。 点追跡は物体検出と追跡に非常によく似ているという観測に基づいて,TAPの課題に対処するためにDETRライクなアルゴリズムから設計を借りる。 提案フレームワークでは、各ビデオフレームにおいて、各トラッキングポイントを位置部分とコンテンツ部分からなるポイントクエリとして表現する。 DETRのように、各クエリ(位置とコンテンツ機能)は層ごとに自然に更新される。 その可視性は、そのアップデートされたコンテンツ機能によって予測される。 同じ追跡ポイントに属するクエリは、時間次元に沿って自己アテンションを介して情報を交換することができる。 これらの操作はすべてDETRのようなアルゴリズムでよく設計されているため、概念的には非常に単純である。 また,光学フローモデルからのコスト容積などの有用な設計も採用し,機能ドリフト問題を緩和しつつ,長時間の時間的情報を提供するための簡易な設計を開発した。 提案フレームワークは,高速な推論速度を持つ様々なTAPデータセットに対して,最先端の性能で高い性能を示す。

関連論文リスト

• Track-On: Transformer-based Online Point Tracking with Memory [34.744546679670734]
  オンラインの長期点追跡用に設計されたシンプルなトランスフォーマーベースのモデルであるTrack-Onを紹介する。 フル・テンポラル・モデリングに依存する従来の手法とは異なり、我々のモデルは将来のフレームにアクセスすることなくビデオ・フレームを慎重に処理する。 推測時に、高い精度で対応点とトラックポイントを識別するためにパッチ分類と改良を用いる。
  論文  参考訳（メタデータ） (2025-01-30T17:04:11Z)
• Event-Based Tracking Any Point with Motion-Augmented Temporal Consistency [58.719310295870024]
  本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。 出来事の空間的空間性や動きの感度によって引き起こされる課題に対処する。 競合モデルパラメータによる処理を150%高速化する。
  論文  参考訳（メタデータ） (2024-12-02T09:13:29Z)
• Autoregressive Queries for Adaptive Tracking with Spatio-TemporalTransformers [55.46413719810273]
  リッチ時間情報は、視覚追跡における複雑なターゲットの出現に不可欠である。 提案手法は,6つの一般的な追跡ベンチマークにおいてトラッカーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-03-15T02:39:26Z)
• TAPIR: Tracking Any Point with per-frame Initialization and temporal Refinement [64.11385310305612]
  本稿では,ビデオシーケンスを通して任意の物理面上の問合せ点を効果的に追跡する,TAP(Tracking Any Point)の新しいモデルを提案する。 提案手法では,(1)他のフレームの問合せ点に対する適切な候補点マッチングを独立に特定するマッチング段階と,(2)局所的相関に基づいてトラジェクトリと問合せの両方を更新する改良段階の2段階を用いる。 結果として得られたモデルは、DAVISにおける平均約20%の絶対平均ジャカード(AJ)改善によって示されるように、TAP-Vidベンチマークにおける大きなマージンで、すべてのベースライン手法を上回ります。
  論文  参考訳（メタデータ） (2023-06-14T17:07:51Z)
• End-to-end Tracking with a Multi-query Transformer [96.13468602635082]
  マルチオブジェクトトラッキング(MOT)は、時間とともにシーン内のオブジェクトの位置、外観、アイデンティティを同時に推論する必要がある課題である。 本研究の目的は、トラッキング・バイ・ディテクト・アプローチを超えて、未知のオブジェクト・クラスに対してもよく機能するクラスに依存しないトラッキングへと移行することである。
  論文  参考訳（メタデータ） (2022-10-26T10:19:37Z)
• PTSEFormer: Progressive Temporal-Spatial Enhanced TransFormer Towards Video Object Detection [28.879484515844375]
  統合強化のための時間情報と空間情報の両方を導入するための進歩的な方法を導入する。 PTSEFormerは、ImageNet VIDデータセットで88.1%のmAPを達成しながら、重い後処理手順を避けるために、エンドツーエンドのスタイルに従っている。
  論文  参考訳（メタデータ） (2022-09-06T06:32:57Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)
• TransVOD: End-to-end Video Object Detection with Spatial-Temporal Transformers [96.981282736404]
  時空間トランスフォーマアーキテクチャに基づく最初のエンドツーエンドビデオオブジェクト検出システムであるTransVODを提案する。 提案した TransVOD++ は,90.0% mAP の ImageNet VID の精度で,最先端のレコードを新たに設定する。 提案したTransVOD Liteは,約30FPSで動作する場合に,83.7%のmAPで最高の速度と精度のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-01-13T16:17:34Z)
• End-to-End Multi-Object Tracking with Global Response Map [23.755882375664875]
  画像シーケンス/映像を入力とし、学習対象の位置と追跡対象を直接出力する、完全にエンドツーエンドのアプローチを提案する。 具体的には,提案した多目的表現戦略により,グローバル応答マップをフレーム上で正確に生成することができる。 MOT16 と MOT17 のベンチマークによる実験結果から,提案したオンライントラッカーは,いくつかのトラッキング指標において最先端の性能を達成した。
  論文  参考訳（メタデータ） (2020-07-13T12:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。