論文の概要: Visual Attention Prediction Improves Performance of Autonomous Drone Racing Agents

• arxiv url: http://arxiv.org/abs/2201.02569v1
• Date: Fri, 7 Jan 2022 18:07:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 15:31:47.570502
• Title: Visual Attention Prediction Improves Performance of Autonomous Drone Racing Agents
• Title（参考訳）: 視覚注意予測による自律型ドローンレースエージェントの性能向上
• Authors: Christian Pfeiffer, Simon Wengeler, Antonio Loquercio, Davide Scaramuzza
• Abstract要約: 人間はエンドツーエンドの自律飛行のために訓練されたニューラルネットワークよりも速くドローンをレースする。 本研究では、人間の視線行動や注意を模倣できるニューラルネットワークが、ニューラルネットワークの性能を向上させるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 45.36060508554703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans race drones faster than neural networks trained for end-to-end autonomous flight. This may be related to the ability of human pilots to select task-relevant visual information effectively. This work investigates whether neural networks capable of imitating human eye gaze behavior and attention can improve neural network performance for the challenging task of vision-based autonomous drone racing. We hypothesize that gaze-based attention prediction can be an efficient mechanism for visual information selection and decision making in a simulator-based drone racing task. We test this hypothesis using eye gaze and flight trajectory data from 18 human drone pilots to train a visual attention prediction model. We then use this visual attention prediction model to train an end-to-end controller for vision-based autonomous drone racing using imitation learning. We compare the drone racing performance of the attention-prediction controller to those using raw image inputs and image-based abstractions (i.e., feature tracks). Our results show that attention-prediction based controllers outperform the baselines and are able to complete a challenging race track consistently with up to 88% success rate. Furthermore, visual attention-prediction and feature-track based models showed better generalization performance than image-based models when evaluated on hold-out reference trajectories. Our results demonstrate that human visual attention prediction improves the performance of autonomous vision-based drone racing agents and provides an essential step towards vision-based, fast, and agile autonomous flight that eventually can reach and even exceed human performances.
• Abstract（参考訳）: 人間はエンドツーエンドの自律飛行のために訓練されたニューラルネットワークよりも速くドローンをレースする。 これは、人間のパイロットがタスク関連視覚情報を効果的に選択できることに関連しているかもしれない。 本研究は、人間の目視行動や注意を模倣できるニューラルネットワークが、視覚ベースの自律型ドローンレースの課題に対して、ニューラルネットワークの性能を向上させるかどうかを検討するものである。 我々は、視線に基づく注意予測が、シミュレーターベースのドローンレースタスクにおける視覚情報選択と意思決定の効率的なメカニズムであると仮定する。 この仮説は、18人の無人機パイロットによる視線と飛行軌跡データを用いて、視覚的注意予測モデルを訓練する。 次に、この視覚的注意予測モデルを用いて、模倣学習を用いた視覚に基づく自律ドローンレースのためのエンドツーエンドコントローラを訓練する。 我々は,アテンション予測コントローラのドローンレース性能を生画像入力と画像に基づく抽象化(特徴トラック)を用いて比較する。 その結果,アテンション予測ベースのコントローラはベースラインを上回り,最大88%の成功率で挑戦的なレーストラックを完走できることがわかった。 さらに,視覚注意予測および特徴トラックに基づくモデルでは,ホールドアウト参照軌跡の評価において,画像モデルよりも一般化性能が向上した。 我々の結果は、人間の視覚的注意予測が自律的な視覚に基づくドローンレースエージェントの性能を向上させることを示し、視覚に基づく高速かつアジャイルな自律飛行に向けて重要なステップを提供する。

関連論文リスト

• VANP: Learning Where to See for Navigation with Self-Supervised Vision-Action Pre-Training [8.479135285935113]
  人間は、ナビゲーションに関連する特定の視覚領域に焦点を当てることで、衝突することなく、群衆を効率的にナビゲートする。 ほとんどのロボットビジュアルナビゲーション手法は、視覚タスクで事前訓練されたディープラーニングモデルに依存しており、これは有能な物体を優先する。 視覚ナビゲーション事前訓練(VANP)のためのセルフ・スーパービジョン・ビジョン・アクション・モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-12T22:33:08Z)
• Humanoid Locomotion as Next Token Prediction [84.21335675130021]
  我々のモデルは感覚運動軌道の自己回帰予測によって訓練された因果変換器である。 われわれのモデルでは、フルサイズのヒューマノイドがサンフランシスコでゼロショットで歩けることが示されている。 われわれのモデルは、わずか27時間の歩行データで訓練された場合でも現実世界に移行でき、後方歩行のような訓練中に見えないコマンドを一般化することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:57:37Z)
• BAT: Behavior-Aware Human-Like Trajectory Prediction for Autonomous Driving [24.123577277806135]
  我々は行動認識軌道予測モデル(BAT)を考案した。 我々のモデルは行動認識、相互作用認識、優先度認識、位置認識モジュールから構成される。 次世代シミュレーション(NGSIM)、ハイウェイドローン(HighD)、ラウンドアバウンドドローン(RounD)、マカオコネクテッド自律運転(MoCAD)データセットにおけるBATの性能を評価する。
  論文  参考訳（メタデータ） (2023-12-11T13:27:51Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Fully neuromorphic vision and control for autonomous drone flight [5.358212984063069]
  イベントベースのビジョンとスパイクニューラルネットワークは、同様の特徴を示すことを約束する。 本稿では,ドローン飛行を制御するための完全学習型ニューロモルフィックパイプラインを提案する。 結果は,1回の飛行でより小さなネットワークを実現するためのニューロモルフィックセンシングと処理の可能性を示している。
  論文  参考訳（メタデータ） (2023-03-15T17:19:45Z)
• Towards Cooperative Flight Control Using Visual-Attention [61.99121057062421]
  本稿では,パイロットと制御システム間の並列自律性を実現するための,視覚に基づくエアガードシステムを提案する。 我々の注意に基づく航空防衛システムは、飛行への関与レベルとパイロットの専門知識と注意のトレードオフをバランスさせることができる。
  論文  参考訳（メタデータ） (2022-12-21T15:31:47Z)
• Learning Deep Sensorimotor Policies for Vision-based Autonomous Drone Racing [52.50284630866713]
  既存のシステムは、状態推定、計画、制御のために手作業によるコンポーネントを必要とすることが多い。 本稿では、深層感触者ポリシーを学習することで、視覚に基づく自律ドローンレース問題に取り組む。
  論文  参考訳（メタデータ） (2022-10-26T19:03:17Z)
• Masked Visual Pre-training for Motor Control [118.18189211080225]
  実世界の画像からの自己教師付き視覚前訓練は、画素から運動制御タスクを学習するのに有効である。 私たちはビジュアルエンコーダを凍結し、強化学習でニューラルネットワークコントローラをトレーニングします。 これは、モーター制御のために現実の画像を大規模に活用した初めての自己教師型モデルである。
  論文  参考訳（メタデータ） (2022-03-11T18:58:10Z)
• Physion: Evaluating Physical Prediction from Vision in Humans and Machines [46.19008633309041]
  我々は、この能力を正確に測定する視覚的および身体的予測ベンチマークを示す。 我々は、様々な物理予測を行う能力について、アルゴリズムの配列を比較した。 物理的な状態にアクセス可能なグラフニューラルネットワークは、人間の振る舞いを最もよく捉えている。
  論文  参考訳（メタデータ） (2021-06-15T16:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。