論文の概要: TAFormer: A Unified Target-Aware Transformer for Video and Motion Joint Prediction in Aerial Scenes

• arxiv url: http://arxiv.org/abs/2403.18238v1
• Date: Wed, 27 Mar 2024 04:03:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 18:26:17.625264
• Title: TAFormer: A Unified Target-Aware Transformer for Video and Motion Joint Prediction in Aerial Scenes
• Title（参考訳）: TAFormer:空中シーンにおける映像・モーションジョイント予測のための統合ターゲット対応変圧器
• Authors: Liangyu Xu, Wanxuan Lu, Hongfeng Yu, Yongqiang Mao, Hanbo Bi, Chenglong Liu, Xian Sun, Kun Fu,
• Abstract要約: 本研究では,ターゲット認識空中映像予測(Target-Aware Aerial Video Prediction)と呼ばれる新しいタスクを導入する。 本研究では,空間的静的な注意と時間的ダイナミックな注意にビデオダイナミクスの学習を分離し,シーンの外観と動きを効果的にモデル化する時空間的注意(STA)を紹介した。 ぼかし予測における目標の識別の難しさを軽減するため,ターゲット感性ガウス損失(TSGL)を導入し,目標の位置と内容の両方に対するモデルの感度を高める。
• 参考スコア（独自算出の注目度）: 14.924741503611749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As drone technology advances, using unmanned aerial vehicles for aerial surveys has become the dominant trend in modern low-altitude remote sensing. The surge in aerial video data necessitates accurate prediction for future scenarios and motion states of the interested target, particularly in applications like traffic management and disaster response. Existing video prediction methods focus solely on predicting future scenes (video frames), suffering from the neglect of explicitly modeling target's motion states, which is crucial for aerial video interpretation. To address this issue, we introduce a novel task called Target-Aware Aerial Video Prediction, aiming to simultaneously predict future scenes and motion states of the target. Further, we design a model specifically for this task, named TAFormer, which provides a unified modeling approach for both video and target motion states. Specifically, we introduce Spatiotemporal Attention (STA), which decouples the learning of video dynamics into spatial static attention and temporal dynamic attention, effectively modeling the scene appearance and motion. Additionally, we design an Information Sharing Mechanism (ISM), which elegantly unifies the modeling of video and target motion by facilitating information interaction through two sets of messenger tokens. Moreover, to alleviate the difficulty of distinguishing targets in blurry predictions, we introduce Target-Sensitive Gaussian Loss (TSGL), enhancing the model's sensitivity to both target's position and content. Extensive experiments on UAV123VP and VisDroneVP (derived from single-object tracking datasets) demonstrate the exceptional performance of TAFormer in target-aware video prediction, showcasing its adaptability to the additional requirements of aerial video interpretation for target awareness.
• Abstract（参考訳）: ドローン技術が進歩するにつれて、無人航空機による航空調査が、現代の低高度リモートセンシングの主流となっている。 航空映像データの急増は、特に交通管理や災害対応といったアプリケーションにおいて、将来のシナリオや関心のあるターゲットの動作状態の正確な予測を必要とする。 既存の映像予測手法は、対象の運動状態を明示的にモデル化することの無視に苦しむ将来のシーン(映像フレーム)の予測にのみ焦点をあてる。 この問題に対処するために,ターゲット・アウェア・エアリアル・ビデオ予測(Target-Aware Aerial Video Prediction)という新しいタスクを導入する。 さらに,このタスクに特化したモデルであるTAFormerを設計し,映像とターゲットの動作状態の両方に統一的なモデリング手法を提供する。 具体的には、空間的静的な注意と時間的注意にビデオダイナミクスの学習を分離し、シーンの外観と動きを効果的にモデル化する時空間注意(STA)を導入する。 さらに,2組のメッセンジャートークンを通じて情報交換を容易にすることで,映像とターゲットの動きのモデリングをエレガントに統一する情報共有機構(ISM)を設計する。 さらに、ぼかし予測における目標の識別の難しさを軽減するために、ターゲット感性ガウス損失(TSGL)を導入し、ターゲットの位置と内容の両方に対するモデルの感度を高める。 UAV123VPとVisDroneVP(単目的追跡データセットに由来する)に関する大規模な実験は、ターゲット認識ビデオ予測におけるTAFormerの例外的な性能を示し、ターゲット認識のための空中ビデオ解釈の追加要件への適応性を示している。

関連論文リスト

• TK-Planes: Tiered K-Planes with High Dimensional Feature Vectors for Dynamic UAV-based Scenes [58.180556221044235]
  本研究では,無人航空機(UAV)の認識における合成と実世界の領域間ギャップを埋める新しい手法を提案する。 我々のformu-lationは、動いた物体や人間の行動からなる動的シーン用に設計されている。 我々は,Okutama ActionやUG2など,挑戦的なデータセットの性能を評価する。
  論文  参考訳（メタデータ） (2024-05-04T21:55:33Z)
• OFMPNet: Deep End-to-End Model for Occupancy and Flow Prediction in Urban Environment [0.0]
  環境中の全ての動的オブジェクトの将来の挙動を予測するために,エンド・ツー・エンドのニューラルネットワーク手法を提案する。 本稿では, 終点誤差の大幅な低減を図った新しい時間重み付きモーションフロー損失を提案する。
  論文  参考訳（メタデータ） (2024-04-02T19:37:58Z)
• Layout Sequence Prediction From Noisy Mobile Modality [53.49649231056857]
  軌道予測は、自律運転やロボット工学などの応用における歩行者運動を理解する上で重要な役割を担っている。 現在の軌道予測モデルは、視覚的モダリティからの長い、完全な、正確に観察されたシーケンスに依存する。 本稿では,物体の障害物や視界外を,完全に視認できる軌跡を持つものと同等に扱う新しいアプローチであるLTrajDiffを提案する。
  論文  参考訳（メタデータ） (2023-10-09T20:32:49Z)
• MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
  本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。 実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-05T04:24:11Z)
• Multi-Object Tracking with Deep Learning Ensemble for Unmanned Aerial System Applications [0.0]
  多目的追跡(MOT)は、軍事防衛分野における状況認識の重要な構成要素である。 本稿では,リアルタイムな状況下での騒音に対応するために,頑健なオブジェクト追跡アーキテクチャを提案する。 本稿では,遅延空間における実体軌道の予測にシーケンス・ツー・シーケンス・アーキテクチャを用いる,Deep Extended Kalman Filter (DeepEKF) と呼ばれるキネマティックな予測モデルを提案する。
  論文  参考訳（メタデータ） (2021-10-05T13:50:38Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• SCOUT: Socially-COnsistent and UndersTandable Graph Attention Network for Trajectory Prediction of Vehicles and VRUs [0.0]
  SCOUTは、グラフとしてシーンの柔軟で汎用的な表現を使用する新しい注意ベースのグラフニューラルネットワークです。 我々は3つの異なる注意メカニズムを探索し,鳥眼視と車載都市データを用いてそのスキームをテストする。 RounDデータセットの全く新しいシナリオでテストすることにより、モデルの柔軟性と転送性を評価します。
  論文  参考訳（メタデータ） (2021-02-12T06:29:28Z)
• Implicit Latent Variable Model for Scene-Consistent Motion Forecasting [78.74510891099395]
  本稿では,センサデータから直接複雑な都市交通のシーン一貫性のある動き予測を学習することを目的とする。 我々は、シーンを相互作用グラフとしてモデル化し、強力なグラフニューラルネットワークを用いてシーンの分散潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-07-23T14:31:25Z)
• AutoTrajectory: Label-free Trajectory Extraction and Prediction from Videos using Dynamic Points [92.91569287889203]
  軌道抽出と予測のための新しいラベルなしアルゴリズムAutoTrajectoryを提案する。 動画中の移動物体をよりよく捉えるために,ダイナミックポイントを導入する。 ビデオ内の歩行者などの移動物体を表すインスタンスポイントに動的ポイントを集約する。
  論文  参考訳（メタデータ） (2020-07-11T08:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。