論文の概要: DCPT: Darkness Clue-Prompted Tracking in Nighttime UAVs
- arxiv url: http://arxiv.org/abs/2309.10491v4
- Date: Thu, 14 Mar 2024 12:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 02:52:49.987138
- Title: DCPT: Darkness Clue-Prompted Tracking in Nighttime UAVs
- Title(参考訳): DCPT:夜間UAVでのダークネスの追跡
- Authors: Jiawen Zhu, Huayi Tang, Zhi-Qi Cheng, Jun-Yan He, Bin Luo, Shihao Qiu, Shengming Li, Huchuan Lu,
- Abstract要約: 既存の夜間無人航空機(UAV)トラッカーは"Enhance-then-Track"アーキテクチャに従っている。
この分離された拡張と追跡は、エンドツーエンドのトレーニング可能な視覚システムを構築するのに失敗する。
本研究では,夜間の強靭なUAV追跡を効率よく学習し,暗黒手がかりを生成できるDarkness Clue-Prompted Tracking (DCPT)を提案する。
- 参考スコア(独自算出の注目度): 53.64523622330297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing nighttime unmanned aerial vehicle (UAV) trackers follow an "Enhance-then-Track" architecture - first using a light enhancer to brighten the nighttime video, then employing a daytime tracker to locate the object. This separate enhancement and tracking fails to build an end-to-end trainable vision system. To address this, we propose a novel architecture called Darkness Clue-Prompted Tracking (DCPT) that achieves robust UAV tracking at night by efficiently learning to generate darkness clue prompts. Without a separate enhancer, DCPT directly encodes anti-dark capabilities into prompts using a darkness clue prompter (DCP). Specifically, DCP iteratively learns emphasizing and undermining projections for darkness clues. It then injects these learned visual prompts into a daytime tracker with fixed parameters across transformer layers. Moreover, a gated feature aggregation mechanism enables adaptive fusion between prompts and between prompts and the base model. Extensive experiments show state-of-the-art performance for DCPT on multiple dark scenario benchmarks. The unified end-to-end learning of enhancement and tracking in DCPT enables a more trainable system. The darkness clue prompting efficiently injects anti-dark knowledge without extra modules. Code is available at https://github.com/bearyi26/DCPT.
- Abstract(参考訳): 既存の夜間無人航空機(UAV)トラッカーは"Enhance-then-Track"アーキテクチャに従っている。
この分離された拡張と追跡は、エンドツーエンドのトレーニング可能な視覚システムを構築するのに失敗する。
そこで本研究では,夜間の強靭なUAV追跡を効率よく学習し,暗黙の手がかりを生成する,Darkness Clue-Prompted Tracking (DCPT) という新しいアーキテクチャを提案する。
別個のエンハンサーがなければ、DCPTは暗黒誘導プロンプト(DCP)を使用して、アンチダーク機能を直接プロンプトにエンコードする。
具体的には、DCPは暗黒の手がかりの投影を強調し、損なうことを反復的に学習する。
そして、学習した視覚的プロンプトを、トランスフォーマー層にまたがる固定パラメータで、昼間のトラッカーに注入する。
さらに、ゲート特徴集約機構は、プロンプトとプロンプトとベースモデルとの適応的な融合を可能にする。
複数のダークシナリオベンチマークにおいて,DCPTの最先端性能を示す実験を行った。
DCPTにおける拡張と追跡の統一的なエンドツーエンド学習は、より訓練可能なシステムを実現する。
暗黒の手がかりは、余分な加群なしで効果的に反暗黒の知識を注入する。
コードはhttps://github.com/bearyi26/DCPTで入手できる。
関連論文リスト
- Prompt-Driven Temporal Domain Adaptation for Nighttime UAV Tracking [21.09039345888337]
低照度シナリオ下での夜間UAV追跡は、ドメイン適応(DA)によって大きな進歩を遂げた。
従来のDAトレーニングに基づく研究は、UAVトラッカーの時間的文脈の相違を狭めるには不十分である。
本研究は、夜間UAV追跡に挑戦する時間的コンテキストをフル活用するための、プロンプト駆動型時間的ドメイン適応トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-27T08:12:28Z) - Dense Optical Tracking: Connecting the Dots [82.79642869586587]
DOTは、ビデオにおけるポイントトラッキングの問題を解決するための、新しくてシンプルで効率的な方法である。
OmniMotionのような高度な"ユニバーサルトラッカー"を上回り、CoTrackerのような最良のポイントトラッキングアルゴリズムと同等か、あるいはそれ以上の精度で、DOTが現在の光フロー技術よりもはるかに正確であることを示す。
論文 参考訳(メタデータ) (2023-12-01T18:59:59Z) - Disentangled Contrastive Image Translation for Nighttime Surveillance [87.03178320662592]
夜間監視は、照明の悪さと厳しい人間のアノテーションによる劣化に悩まされる。
既存の手法では、暗黒の物体を知覚するためにマルチスペクトル画像が使われており、解像度の低さと色の不在に悩まされている。
夜間監視の究極の解決策は、夜から昼までの翻訳(Night2Day)である、と私たちは主張する。
本論文は、夜間監視研究を支援する6つのシーンを含む、NightSuRと呼ばれる新しい監視データセットに貢献する。
論文 参考訳(メタデータ) (2023-07-11T06:40:27Z) - Tracker Meets Night: A Transformer Enhancer for UAV Tracking [20.74868878876137]
空間チャネルトランスを用いた低照度エンハンサが提案され, 追従手法に先立って接続される。
高レベルタスクを対象としたセマンティックレベルの低照度化を実現するために,新しい空間チャネルアテンションモジュールを提案する。
エンハンスメント工程では、SCTは夜間画像を同時にデノイズし、照明する。
論文 参考訳(メタデータ) (2023-03-20T09:18:52Z) - Unsupervised Domain Adaptation for Nighttime Aerial Tracking [27.595253191781904]
本研究は、夜間航空追跡のための新しい教師なしドメイン適応フレームワークを開発する。
ユニークなオブジェクト発見アプローチが提供され、生の夜間追跡ビデオからトレーニングパッチを生成する。
Transformerの昼夜の特徴判別器では、昼夜追跡モデルは夜間追跡のために逆向きに訓練される。
論文 参考訳(メタデータ) (2022-03-20T12:35:09Z) - Efficient Visual Tracking with Exemplar Transformers [98.62550635320514]
本稿では,リアルタイム物体追跡のための効率的な変換器であるExemplar Transformerを紹介する。
Exemplar Transformerレイヤを組み込んだビジュアルトラッカーであるE.T.Trackは、CPU上で47fpsで動作する。
これは、他のトランスモデルよりも最大8倍高速である。
論文 参考訳(メタデータ) (2021-12-17T18:57:54Z) - DarkLighter: Light Up the Darkness for UAV Tracking [14.901582782711627]
本研究は低照度画像エンハンサーであるDarkLighterを提案する。
ライトウェイトマップ推定ネットワーク、すなわちME-Netは、照明マップとノイズマップを共同で効率的に推定するために訓練される。
いくつかのSOTAトラッカーで多数のUAVダークトラッキングシーンで実験が行われた。
論文 参考訳(メタデータ) (2021-07-30T01:37:24Z) - ADTrack: Target-Aware Dual Filter Learning for Real-Time Anti-Dark UAV
Tracking [17.80444543935194]
提案手法は,効率的かつ効率的な低照度画像エンハンサーをCFベースのトラッカーに統合する。
目標認識マスクを適用して、ロバストなトラッキングのためにコンテキストフィルタを補助する目標中心フィルタを共同訓練することができる。
その結果、ADTrackは他の最先端トラッカーよりも優れており、1CPUで34フレーム/秒のリアルタイム速度を実現していることがわかった。
論文 参考訳(メタデータ) (2021-06-04T14:05:24Z) - IoU Attack: Towards Temporally Coherent Black-Box Adversarial Attack for
Visual Object Tracking [70.14487738649373]
アドリア攻撃は、深いニューラルネットワークが、知覚不能な摂動によって注入された入力サンプルを知覚する脆弱性によって起こる。
視覚的物体追跡のための決定に基づくブラックボックス攻撃法を提案する。
我々は、最先端のディープトラッカーに対するIoU攻撃を検証した。
論文 参考訳(メタデータ) (2021-03-27T16:20:32Z) - Robust Visual Object Tracking with Two-Stream Residual Convolutional
Networks [62.836429958476735]
視覚追跡のための2ストリーム残差畳み込みネットワーク(TS-RCN)を提案する。
私たちのTS-RCNは、既存のディープラーニングベースのビジュアルトラッカーと統合することができます。
トラッキング性能をさらに向上するため、我々はResNeXtを特徴抽出バックボーンとして採用する。
論文 参考訳(メタデータ) (2020-05-13T19:05:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。