論文の概要: Leveraging Event Streams with Deep Reinforcement Learning for End-to-End UAV Tracking
- arxiv url: http://arxiv.org/abs/2410.14685v1
- Date: Thu, 03 Oct 2024 07:56:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-27 06:14:49.560867
- Title: Leveraging Event Streams with Deep Reinforcement Learning for End-to-End UAV Tracking
- Title(参考訳): エンド・ツー・エンドUAV追跡のための深層強化学習によるイベントストリームの活用
- Authors: Ala Souissi, Hajer Fradi, Panagiotis Papadakis,
- Abstract要約: 我々は,無人航空機(UAV)の自律性を高めるために,イベントカメラ,低エネルギー撮像センサを用いたアクティブトラッキング手法を提案する。
提案したトラッキングコントローラは、搭載されたイベントセンサからの視覚的フィードバックに応答し、ドローンの動きを目標に追従するように調整するように設計されている。
- 参考スコア(独自算出の注目度): 1.8297494098768172
- License:
- Abstract: In this paper, we present our proposed approach for active tracking to increase the autonomy of Unmanned Aerial Vehicles (UAVs) using event cameras, low-energy imaging sensors that offer significant advantages in speed and dynamic range. The proposed tracking controller is designed to respond to visual feedback from the mounted event sensor, adjusting the drone movements to follow the target. To leverage the full motion capabilities of a quadrotor and the unique properties of event sensors, we propose an end-to-end deep-reinforcement learning (DRL) framework that maps raw sensor data from event streams directly to control actions for the UAV. To learn an optimal policy under highly variable and challenging conditions, we opt for a simulation environment with domain randomization for effective transfer to real-world environments. We demonstrate the effectiveness of our approach through experiments in challenging scenarios, including fast-moving targets and changing lighting conditions, which result in improved generalization capabilities.
- Abstract(参考訳): 本稿では,無人航空機(UAV)の自律性を高めるためのアクティブトラッキング手法を提案する。
提案したトラッキングコントローラは、搭載されたイベントセンサからの視覚的フィードバックに応答し、ドローンの動きを目標に追従するように調整するように設計されている。
本研究では, イベントストリームからの生センサデータをUAVの制御動作に直接マッピングする, エンド・ツー・エンドの深部強化学習(DRL)フレームワークを提案する。
高度に可変かつ困難な条件下で最適なポリシーを学習するために,実環境への効果的な移動のための領域ランダム化を用いたシミュレーション環境を選択する。
高速な目標設定や照明条件の変更など,挑戦的なシナリオにおいて,提案手法の有効性を実証し,その結果,一般化能力が向上することを示した。
関連論文リスト
- E-Motion: Future Motion Simulation via Event Sequence Diffusion [86.80533612211502]
イベントベースのセンサーは、これまで達成できなかった詳細と精度で将来の動きを予測するユニークな機会を提供する可能性がある。
本稿では,映像拡散モデルの強力な学習能力とイベントカメラのリッチな動作情報とを,モーションシミュレーションフレームワークとして統合することを提案する。
本研究は,コンピュータビジョンシステムの解釈能力と予測精度の向上に向けた今後の研究の方向性を示唆するものである。
論文 参考訳(メタデータ) (2024-10-11T09:19:23Z) - Optimal OnTheFly Feedback Control of Event Sensors [0.14999444543328289]
イベントベースの視覚センサは、ピクセル強度の変動が閾値を超えるとトリガされるイベントの非同期ストリームを生成する。
本稿では,過去のイベントをコントローラネットワークが解析する,アクティベーションしきい値の動的フィードバック制御手法を提案する。
本手法は,LPIPSの知覚的画像差度測定値において,固定的およびランダムに変化する閾値スキームを6~12%向上させることを示した。
論文 参考訳(メタデータ) (2024-08-23T10:49:16Z) - EVIT: Event-based Visual-Inertial Tracking in Semi-Dense Maps Using Windowed Nonlinear Optimization [19.915476815328294]
イベントカメラは、絶対的な画像強度を統合するのではなく、明るさの変化に反応する興味深い視覚的知覚センサーである。
本報告では, 推定精度を高めるため, 慣性信号の追加を提案する。
本評価では,さまざまな実世界のシーケンスに焦点をあて,異なるレートで実行されるイベントベースの代替手段との比較を行った。
論文 参考訳(メタデータ) (2024-08-02T16:24:55Z) - Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。
固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。
本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
論文 参考訳(メタデータ) (2024-05-24T04:36:13Z) - OOSTraj: Out-of-Sight Trajectory Prediction With Vision-Positioning Denoising [49.86409475232849]
軌道予測はコンピュータビジョンと自律運転の基本である。
この分野における既存のアプローチは、しばしば正確で完全な観測データを仮定する。
本稿では,視覚的位置決め技術を利用した視線外軌道予測手法を提案する。
論文 参考訳(メタデータ) (2024-04-02T18:30:29Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-09-21T15:00:31Z) - On the Generation of a Synthetic Event-Based Vision Dataset for
Navigation and Landing [69.34740063574921]
本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。
我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。
パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
論文 参考訳(メタデータ) (2023-08-01T09:14:20Z) - Transferable Deep Reinforcement Learning Framework for Autonomous
Vehicles with Joint Radar-Data Communications [69.24726496448713]
本稿では,AVの最適決定を支援するために,マルコフ決定プロセス(MDP)に基づくインテリジェントな最適化フレームワークを提案する。
そこで我々は,近年の深層強化学習技術を活用した効果的な学習アルゴリズムを開発し,AVの最適方針を見出す。
提案手法は,従来の深部強化学習手法と比較して,AVによる障害物ミス検出確率を最大67%削減することを示す。
論文 参考訳(メタデータ) (2021-05-28T08:45:37Z) - Energy Aware Deep Reinforcement Learning Scheduling for Sensors
Correlated in Time and Space [62.39318039798564]
相関情報を利用するスケジューリング機構を提案する。
提案したメカニズムは、センサが更新を送信する頻度を決定することができる。
我々は,センサの寿命を大幅に延長できることを示した。
論文 参考訳(メタデータ) (2020-11-19T09:53:27Z) - Vehicle Tracking in Wireless Sensor Networks via Deep Reinforcement
Learning [15.252556567830215]
追跡精度と省エネの両方を改善するために、分散車両追跡戦略が考案されている。
活性化領域半径の動的選択に依存する2つの深部強化学習法(DRL)を提案する。
論文 参考訳(メタデータ) (2020-02-22T10:01:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。