論文の概要: SOAR: Self-supervision Optimized UAV Action Recognition with Efficient Object-Aware Pretraining

• arxiv url: http://arxiv.org/abs/2409.18300v1
• Date: Thu, 26 Sep 2024 21:15:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 07:10:35.820898
• Title: SOAR: Self-supervision Optimized UAV Action Recognition with Efficient Object-Aware Pretraining
• Title（参考訳）: SOAR: 効率的なオブジェクト指向事前学習による自己超過最適化UAV行動認識
• Authors: Ruiqi Xian, Xiyang Wu, Tianrui Guan, Xijun Wang, Boqing Gong, Dinesh Manocha,
• Abstract要約: 無人航空機(UAV)が捉えた航空映像の自己監督型事前学習アルゴリズムについて紹介する。 我々は,UAVビデオの事前学習効率と下流行動認識性能を向上させるために,事前学習プロセスを通じて人体知識を取り入れた。
• 参考スコア（独自算出の注目度）: 65.9024395309316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce SOAR, a novel Self-supervised pretraining algorithm for aerial footage captured by Unmanned Aerial Vehicles (UAVs). We incorporate human object knowledge throughout the pretraining process to enhance UAV video pretraining efficiency and downstream action recognition performance. This is in contrast to prior works that primarily incorporate object information during the fine-tuning stage. Specifically, we first propose a novel object-aware masking strategy designed to retain the visibility of certain patches related to objects throughout the pretraining phase. Second, we introduce an object-aware loss function that utilizes object information to adjust the reconstruction loss, preventing bias towards less informative background patches. In practice, SOAR with a vanilla ViT backbone, outperforms best UAV action recognition models, recording a 9.7% and 21.4% boost in top-1 accuracy on the NEC-Drone and UAV-Human datasets, while delivering an inference speed of 18.7ms per video, making it 2x to 5x faster. Additionally, SOAR obtains comparable accuracy to prior self-supervised learning (SSL) methods while requiring 87.5% less pretraining time and 25% less memory usage
• Abstract（参考訳）: 本稿では,無人航空機(UAV)が撮影した航空映像の自己教師型事前学習アルゴリズムであるSOARを紹介する。 我々は,UAVビデオの事前学習効率と下流行動認識性能を向上させるために,事前学習プロセスを通じて人体知識を取り入れた。 これは、主に微調整段階のオブジェクト情報を含む以前の作品とは対照的である。 具体的には、まず、事前学習フェーズを通して、対象に関連する特定のパッチの可視性を維持するように設計された、新しいオブジェクト認識マスキング戦略を提案する。 第二に、オブジェクト情報を利用して再構成損失を調整するオブジェクト認識損失関数を導入し、情報の少ない背景パッチに対するバイアスを防ぐ。 実際には、バニラVTバックボーンを持つSOARは、最高のUAVアクション認識モデルより優れており、NEC-DroneとUAV-Humanデータセットでトップ1の精度を9.7%と21.4%アップし、推論速度は18.7msで、2倍から5倍速くなった。 さらに、SOARは、事前トレーニング時間87.5%、メモリ使用率25%の削減を必要としながら、以前の自己教師付き学習(SSL)手法に匹敵する精度を得る。

関連論文リスト

• Streamlining Forest Wildfire Surveillance: AI-Enhanced UAVs Utilizing the FLAME Aerial Video Dataset for Lightweight and Efficient Monitoring [4.303063757163241]
  本研究では,災害対応シナリオにおけるリアルタイムデータ処理の必要性を認識し,航空映像理解のための軽量かつ効率的なアプローチを提案する。 提案手法は、ポリシーネットワークを介してビデオ内の冗長部分を識別し、フレーム圧縮技術を用いて余分な情報を除去する。 ベースラインと比較して,提案手法は計算コストを13倍以上削減し,精度を3$%向上させる。
  論文  参考訳（メタデータ） (2024-08-31T17:26:53Z)
• ExPLoRA: Parameter-Efficient Extended Pre-Training to Adapt Vision Transformers under Domain Shifts [52.1635661239108]
  本稿では,事前学習された視覚変換器(ViT)のドメインシフト下での伝達学習を改善するために,ExPLoRAを提案する。 我々の実験は、衛星画像の最先端の成果を実証し、完全な事前学習や微調整のViTよりも優れています。
  論文  参考訳（メタデータ） (2024-06-16T15:14:56Z)
• Reward Finetuning for Faster and More Accurate Unsupervised Object Discovery [64.41455104593304]
  Reinforcement Learning from Human Feedback (RLHF)は、機械学習モデルを改善し、それを人間の好みに合わせる。 本稿では,RL法と類似した手法を非教師対象発見に適用することを提案する。 私たちは、我々のアプローチがより正確であるだけでなく、訓練よりも桁違いに高速であることを示した。
  論文  参考訳（メタデータ） (2023-10-29T17:03:12Z)
• MITFAS: Mutual Information based Temporal Feature Alignment and Sampling for Aerial Video Action Recognition [59.905048445296906]
  UAVビデオにおける行動認識のための新しいアプローチを提案する。 我々は、時間領域における人間の行動や動きに対応する領域を計算・調整するために、相互情報の概念を用いる。 実際には、最先端の手法よりもTop-1の精度が18.9%向上している。
  論文  参考訳（メタデータ） (2023-03-05T04:05:17Z)
• AZTR: Aerial Video Action Recognition with Auto Zoom and Temporal Reasoning [63.628195002143734]
  本稿では,空中映像の行動認識のための新しい手法を提案する。 提案手法は,UAVを用いて撮影したビデオに対して設計されており,エッジやモバイルデバイス上でも動作可能である。 我々は、カスタマイズされたオートズームを使用して、人間のターゲットを自動的に識別し、適切にスケールする学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-02T21:24:19Z)
• Small Object Detection using Deep Learning [0.28675177318965034]
  提案システムは,高速物体検出モデル(YOLO)のフレーバーであるTiny YOLOv3(Tiny YOLOv3)を構築・使用した。 提案したアーキテクチャは、以前のYOLOバージョンに比べて大幅に性能が向上している。
  論文  参考訳（メタデータ） (2022-01-10T09:58:25Z)
• 3D UAV Trajectory and Data Collection Optimisation via Deep Reinforcement Learning [75.78929539923749]
  無人航空機(UAV)は現在、無線通信におけるネットワーク性能とカバレッジを高めるために配備され始めている。 UAV支援モノのインターネット(IoT)のための最適な資源配分方式を得ることは困難である 本稿では,UAVの最も短い飛行経路に依存しつつ,IoTデバイスから収集したデータ量を最大化しながら,新しいUAV支援IoTシステムを設計する。
  論文  参考訳（メタデータ） (2021-06-06T14:08:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。