論文の概要: CiteTracker: Correlating Image and Text for Visual Tracking

• arxiv url: http://arxiv.org/abs/2308.11322v1
• Date: Tue, 22 Aug 2023 09:53:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 18:17:31.718552
• Title: CiteTracker: Correlating Image and Text for Visual Tracking
• Title（参考訳）: CiteTracker:ビジュアルトラッキングのための画像とテキストの関係
• Authors: Xin Li, Yuqing Huang, Zhenyu He, Yaowei Wang, Huchuan Lu, Ming-Hsuan Yang
• Abstract要約: 我々は、画像とテキストを接続することで、視覚的トラッキングにおけるターゲットモデリングと推論を強化するCiteTrackerを提案する。 具体的には、ターゲット画像パッチを記述テキストに変換するテキスト生成モジュールを開発する。 次に、注目に基づく相関モジュールを用いて対象記述と検索画像を関連付け、対象状態参照のための相関特徴を生成する。
• 参考スコア（独自算出の注目度）: 114.48653709286629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing visual tracking methods typically take an image patch as the reference of the target to perform tracking. However, a single image patch cannot provide a complete and precise concept of the target object as images are limited in their ability to abstract and can be ambiguous, which makes it difficult to track targets with drastic variations. In this paper, we propose the CiteTracker to enhance target modeling and inference in visual tracking by connecting images and text. Specifically, we develop a text generation module to convert the target image patch into a descriptive text containing its class and attribute information, providing a comprehensive reference point for the target. In addition, a dynamic description module is designed to adapt to target variations for more effective target representation. We then associate the target description and the search image using an attention-based correlation module to generate the correlated features for target state reference. Extensive experiments on five diverse datasets are conducted to evaluate the proposed algorithm and the favorable performance against the state-of-the-art methods demonstrates the effectiveness of the proposed tracking method.
• Abstract（参考訳）: 既存の視覚的追跡手法は、通常、ターゲットの参照としてイメージパッチを使って追跡を行う。 しかし、単一のイメージパッチは、画像が抽象化する能力に制限があり、曖昧であるため、ターゲットの完全な正確な概念を提供できないため、劇的なバリエーションでターゲットを追跡することは困難である。 本稿では、画像とテキストを接続することで、視覚的トラッキングにおけるターゲットモデリングと推論を強化するCiteTrackerを提案する。 具体的には、ターゲット画像パッチを、そのクラスと属性情報を含む記述テキストに変換するテキスト生成モジュールを開発し、ターゲットに対する包括的な参照ポイントを提供する。 さらに、動的記述モジュールは、より効果的なターゲット表現のためにターゲットのバリエーションに適応するように設計されている。 次に、注目に基づく相関モジュールを用いて対象記述と検索画像を関連付け、対象状態参照のための相関特徴を生成する。 提案手法の有効性を実証するために,5つの多種多様なデータセットに関する広範囲な実験を行い,提案手法の有効性を実証した。

関連論文リスト

• Labeling Indoor Scenes with Fusion of Out-of-the-Box Perception Models [4.157013247909771]
  ボトムアップセグメンテーション(SAM)、オブジェクト検出(Detic)、セマンティックセグメンテーション(MaskFormer)の最先端モデルを活用することを提案する。 室内環境におけるセマンティックセグメンテーションとオブジェクトインスタンス検出のための擬似ラベルを得るための,コスト効率の高いラベリング手法を開発することを目的とする。 提案手法の有効性を,Active VisionデータセットとADE20Kデータセットに示す。
  論文  参考訳（メタデータ） (2023-11-17T21:58:26Z)
• Single-Shot and Multi-Shot Feature Learning for Multi-Object Tracking [55.13878429987136]
  そこで本研究では,異なる目標に対して,単発と複数発の特徴を共同で学習するための,シンプルで効果的な2段階特徴学習パラダイムを提案する。 提案手法は,DanceTrackデータセットの最先端性能を達成しつつ,MOT17およびMOT20データセットの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-11-17T08:17:49Z)
• Beyond One-to-One: Rethinking the Referring Image Segmentation [117.53010476628029]
  イメージセグメンテーションの参照は、自然言語表現によって参照される対象オブジェクトをセグメンテーションすることを目的としている。 2つのデコーダ分岐を含むDMMI(Dual Multi-Modal Interaction)ネットワークを提案する。 テキスト・ツー・イメージ・デコーダでは、テキストの埋め込みを利用して視覚的特徴を検索し、対応するターゲットをローカライズする。 一方、画像からテキストへのデコーダは、視覚的特徴に条件付けられた消去されたエンティティ・フレーズを再構成するために実装される。
  論文  参考訳（メタデータ） (2023-08-26T11:39:22Z)
• Joint Visual Grounding and Tracking with Natural Language Specification [6.695284124073918]
  自然言語仕様による追跡は、自然言語記述に基づくシーケンス内の参照対象の特定を目的としている。 統合されたタスクとしてグラウンドとトラッキングを再構成する統合的な視覚的グラウンドとトラッキングフレームワークを提案する。 本手法は,トラッキングとグラウンドの両方において,最先端のアルゴリズムに対して良好に動作する。
  論文  参考訳（メタデータ） (2023-03-21T17:09:03Z)
• Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning [42.29650807349636]
  正確な視覚的接地のためのトランスフォーマーベースのフレームワークを提案する。 テキスト記述に関連する領域に視覚的特徴を集中させる視覚言語検証モジュールを開発した。 言語誘導型特徴エンコーダは、対象オブジェクトの視覚的コンテキストを集約して、オブジェクトの特異性を改善するように設計されている。
  論文  参考訳（メタデータ） (2022-04-30T13:48:15Z)
• Complex Scene Image Editing by Scene Graph Comprehension [17.72638225034884]
  シーングラフ(SGC-Net)による複雑なシーン画像編集を実現するための2段階手法を提案する。 第1段階では,シーングラフを用いた関心領域予測ネットワークを訓練し,対象物体の位置を推定する。 第2段階では条件付き拡散モデルを用いて、RoI予測に基づいて画像を編集する。
  論文  参考訳（メタデータ） (2022-03-24T05:12:54Z)
• Learning Dynamic Compact Memory Embedding for Deformable Visual Object Tracking [82.34356879078955]
  本稿では,セグメント化に基づく変形可能な視覚追跡手法の識別を強化するために,コンパクトなメモリ埋め込みを提案する。 DAVIS 2017ベンチマークでは,D3SやSiamMaskなどのセグメンテーションベースのトラッカーよりも優れている。
  論文  参考訳（メタデータ） (2021-11-23T03:07:12Z)
• Learning Object Detection from Captions via Textual Scene Attributes [70.90708863394902]
  キャプションには、オブジェクトの属性やそれらの関係など、画像に関するよりリッチな情報が含まれている、と我々は主張する。 本稿では,この「テキストシーングラフ」の属性を用いて物体検知器を訓練する手法を提案する。 得られたモデルが、いくつかの挑戦的なオブジェクト検出データセットに対して、最先端の結果を達成することを実証的に実証した。
  論文  参考訳（メタデータ） (2020-09-30T10:59:20Z)
• Visual Tracking by TridentAlign and Context Embedding [71.60159881028432]
  本稿では,Siamese ネットワークに基づく視覚的トラッキングのための新しい TridentAlign とコンテキスト埋め込みモジュールを提案する。 提案トラッカーの性能は最先端トラッカーに匹敵するが,提案トラッカーはリアルタイムに動作可能である。
  論文  参考訳（メタデータ） (2020-07-14T08:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。