論文の概要: Adversarial Attack for RGB-Event based Visual Object Tracking

• arxiv url: http://arxiv.org/abs/2504.14423v1
• Date: Sat, 19 Apr 2025 23:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 00:42:10.918858
• Title: Adversarial Attack for RGB-Event based Visual Object Tracking
• Title（参考訳）: RGBイベントに基づくビジュアルオブジェクト追跡のための逆アタック
• Authors: Qiang Chen, Xiao Wang, Haowen Wang, Bo Jiang, Lin Zhu, Dawei Zhang, Yonghong Tian, Jin Tang,
• Abstract要約: RGB-Eventビジュアルトラッキングのためのクロスモーダル逆アタックアルゴリズムを提案する。 広範に使用されている3つのRGB-Event Trackingデータセットに対する攻撃に対するアプローチを評価する。
• 参考スコア（独自算出の注目度）: 39.35874495297647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual object tracking is a crucial research topic in the fields of computer vision and multi-modal fusion. Among various approaches, robust visual tracking that combines RGB frames with Event streams has attracted increasing attention from researchers. While striving for high accuracy and efficiency in tracking, it is also important to explore how to effectively conduct adversarial attacks and defenses on RGB-Event stream tracking algorithms, yet research in this area remains relatively scarce. To bridge this gap, in this paper, we propose a cross-modal adversarial attack algorithm for RGB-Event visual tracking. Because of the diverse representations of Event streams, and given that Event voxels and frames are more commonly used, this paper will focus on these two representations for an in-depth study. Specifically, for the RGB-Event voxel, we first optimize the perturbation by adversarial loss to generate RGB frame adversarial examples. For discrete Event voxel representations, we propose a two-step attack strategy, more in detail, we first inject Event voxels into the target region as initialized adversarial examples, then, conduct a gradient-guided optimization by perturbing the spatial location of the Event voxels. For the RGB-Event frame based tracking, we optimize the cross-modal universal perturbation by integrating the gradient information from multimodal data. We evaluate the proposed approach against attacks on three widely used RGB-Event Tracking datasets, i.e., COESOT, FE108, and VisEvent. Extensive experiments show that our method significantly reduces the performance of the tracker across numerous datasets in both unimodal and multimodal scenarios. The source code will be released on https://github.com/Event-AHU/Adversarial_Attack_Defense
• Abstract（参考訳）: ビジュアルオブジェクトトラッキングは、コンピュータビジョンとマルチモーダル融合の分野で重要な研究トピックである。 さまざまなアプローチの中で、RGBフレームとEvent Streamを組み合わせた堅牢なビジュアルトラッキングは、研究者の注目を集めている。 RGB-Eventストリーム追跡アルゴリズムに対する敵攻撃と防御を効果的に行う方法を検討することも重要であるが、この分野の研究は比較的少ない。 本稿では,このギャップを埋めるために,RGB-Eventビジュアルトラッキングのためのクロスモーダル・逆アタックアルゴリズムを提案する。 イベントストリームの多種多様な表現と、イベントのボクセルとフレームがより一般的に使用されることを考えると、この論文は、詳細な研究のためにこれらの2つの表現に焦点を当てる。 具体的には、RGB-Eventのボクセルに対して、まず対向損失による摂動を最適化し、RGBフレーム対向例を生成する。 離散的なイベントボクセル表現に対しては,2段階の攻撃戦略を提案するが,より詳しくは,まず初期化逆の例としてイベントボクセルを対象領域に注入し,次にイベントボクセルの空間的位置を摂動することによって勾配誘導最適化を行う。 RGB-Eventフレームベースのトラッキングでは,マルチモーダルデータからの勾配情報を統合することで,クロスモーダルな普遍摂動を最適化する。 我々は,広く使用されている3つのRGBイベント追跡データセット,すなわちCOESOT,FE108,VisEventに対する攻撃に対するアプローチを評価する。 大規模な実験により,本手法は,非モーダル・マルチモーダルの両方のシナリオにおいて,多数のデータセット間でトラッカーの性能を著しく低下させることが示された。 ソースコードはhttps://github.com/Event-AHU/Adversarial_Attack_Defenseで公開される。

関連論文リスト

• RGB-Sonar Tracking Benchmark and Spatial Cross-Attention Transformer Tracker [4.235252053339947]
  本稿では,新しいRGB-Sonar(RGB-S)トラッキングタスクを提案する。 RGBとソナーモダリティの相互作用により、水中の標的の効率的な追跡を実現する方法について検討する。
  論文  参考訳（メタデータ） (2024-06-11T12:01:11Z)
• TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking [30.89375068036783]
  既存のアプローチでは、従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。 本稿では,イベントデータ固有の特徴を認識可能な高品質な特徴表現を実現するために,イベントバックボーン(Pooler)を提案する。 提案手法は,2つの広く使用されているRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-08T12:19:08Z)
• Long-term Frame-Event Visual Tracking: Benchmark Dataset and Baseline [37.06330707742272]
  まず, FELTと呼ばれる, 長期的かつ大規模な単一オブジェクト追跡データセットを提案する。 742の動画と1,594,474のRGBフレームとイベントストリームペアが含まれており、これまでで最大のフレームイベント追跡データセットになっている。 本稿では,RGBとイベントデータの両方を融合させるために,現代的なホップフィールド層をマルチヘッド自己アテンションブロックに導入することで,統一バックボーンとして新しい連想メモリトランスフォーマーネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T08:49:50Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Event Stream-based Visual Object Tracking: A High-Resolution Benchmark Dataset and A Novel Baseline [38.42400442371156]
  既存の作業は、整列したRGBとイベントデータを使用して正確なトラッキングを行うか、イベントベースのトラッカーを直接学習する。 本稿では,知識伝達を促進するために,学習中に多モード/多ビュー情報を十分に活用できる新しい階層型知識蒸留フレームワークを提案する。 EventVOTという,最初の大規模高解像度(1280×720$)のデータセットを提案する。1141のビデオが収録されており,歩行者や自動車,UAV,ピンポンなど,幅広いカテゴリをカバーする。
  論文  参考訳（メタデータ） (2023-09-26T01:42:26Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Revisiting Color-Event based Tracking: A Unified Network, Dataset, and Metric [53.88188265943762]
  上記の機能を同時に実現したCEUTrack(Color-Event Unified Tracking)のためのシングルステージバックボーンネットワークを提案する。 提案するCEUTrackはシンプルで,効率的で,75FPS以上を達成し,新たなSOTA性能を実現している。
  論文  参考訳（メタデータ） (2022-11-20T16:01:31Z)
• Learning Dual-Fused Modality-Aware Representations for RGBD Tracking [67.14537242378988]
  従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加は、ターゲットとバックグラウンドの干渉を効果的に解決することができる。 既存のRGBDトラッカーでは2つのモードを別々に使用しており、特に有用な共有情報は無視されている。 DMTracker(Dual-fused Modality-aware Tracker)を提案する。DMTrackerは,RGBDのロバストな追跡のために,対象対象物の情報的および識別的表現を学習することを目的としている。
  論文  参考訳（メタデータ） (2022-11-06T07:59:07Z)
• Multi-domain Collaborative Feature Representation for Robust Visual Object Tracking [32.760681454334765]
  本稿では,フレームドメインとイベントドメインの相補的特徴を効果的に表現し,活用することに焦点を当てる。 2つのドメインの特徴を学習するために、スパイキングニューラルネットワークに基づくイベントのためのユニークなエクストラクタ(UEE)を利用する。 標準RGBベンチマークと実イベント追跡データセットの実験は、提案手法の有効性を実証している。
  論文  参考訳（メタデータ） (2021-08-10T09:01:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。