論文の概要: Neuro-LIFT: A Neuromorphic, LLM-based Interactive Framework for Autonomous Drone FlighT at the Edge

• arxiv url: http://arxiv.org/abs/2501.19259v1
• Date: Fri, 31 Jan 2025 16:17:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:54.438174
• Title: Neuro-LIFT: A Neuromorphic, LLM-based Interactive Framework for Autonomous Drone FlighT at the Edge
• Title（参考訳）: Neuro-LIFT: エッジに浮かぶ自律ドローンのためのニューロモルフィックなLLMベースのインタラクティブフレームワーク
• Authors: Amogh Joshi, Sourav Sanyal, Kaushik Roy,
• Abstract要約: 本稿では,Parrot Bebop Quaotor2上に実装されたリアルタイムニューロモルフィックナビゲーションフレームワークNeuro-LIFTを提案する。 我々のフレームワークは、人間の発話を高レベルな計画コマンドに変換し、イベントベースのニューロモルフィックビジョンと物理駆動計画を用いて自律的に実行される。 本フレームワークは,動的な環境下での航行,障害物回避,人間の指示にリアルタイムで適応する能力を示す。
• 参考スコア（独自算出の注目度）: 9.461346539158475
• License:
• Abstract: The integration of human-intuitive interactions into autonomous systems has been limited. Traditional Natural Language Processing (NLP) systems struggle with context and intent understanding, severely restricting human-robot interaction. Recent advancements in Large Language Models (LLMs) have transformed this dynamic, allowing for intuitive and high-level communication through speech and text, and bridging the gap between human commands and robotic actions. Additionally, autonomous navigation has emerged as a central focus in robotics research, with artificial intelligence (AI) increasingly being leveraged to enhance these systems. However, existing AI-based navigation algorithms face significant challenges in latency-critical tasks where rapid decision-making is critical. Traditional frame-based vision systems, while effective for high-level decision-making, suffer from high energy consumption and latency, limiting their applicability in real-time scenarios. Neuromorphic vision systems, combining event-based cameras and spiking neural networks (SNNs), offer a promising alternative by enabling energy-efficient, low-latency navigation. Despite their potential, real-world implementations of these systems, particularly on physical platforms such as drones, remain scarce. In this work, we present Neuro-LIFT, a real-time neuromorphic navigation framework implemented on a Parrot Bebop2 quadrotor. Leveraging an LLM for natural language processing, Neuro-LIFT translates human speech into high-level planning commands which are then autonomously executed using event-based neuromorphic vision and physics-driven planning. Our framework demonstrates its capabilities in navigating in a dynamic environment, avoiding obstacles, and adapting to human instructions in real-time.
• Abstract（参考訳）: 人間の直感的な相互作用の自律システムへの統合は制限されている。 従来の自然言語処理(NLP)システムは文脈や意図の理解に苦慮し、人間とロボットの相互作用を厳しく制限している。 近年のLarge Language Models (LLMs) の進歩により、音声とテキストによる直感的でハイレベルなコミュニケーションが可能となり、人間の命令とロボット行動のギャップを埋めることが可能になった。 さらに、自律ナビゲーションはロボット工学の研究の中心として現れており、人工知能(AI)はこれらのシステムを強化するためにますます活用されている。 しかし、既存のAIベースのナビゲーションアルゴリズムは、迅速な意思決定が重要となるレイテンシクリティカルなタスクにおいて、重大な課題に直面している。 従来のフレームベースの視覚システムは、高レベルの意思決定に効果的であるが、高エネルギー消費と遅延に悩まされ、リアルタイムシナリオにおける適用性が制限される。 イベントベースのカメラとスパイクニューラルネットワーク(SNN)を組み合わせたニューロモルフィック視覚システムは、エネルギー効率の良い低遅延ナビゲーションを可能にすることで、有望な代替手段を提供する。 これらのシステムの実装の可能性にもかかわらず、特にドローンのような物理的なプラットフォーム上での実際の実装は少ないままである。 本研究では,Parrot Bebop2四極子上に実装されたリアルタイムニューロモルフィックナビゲーションフレームワークNeuro-LIFTを提案する。 自然言語処理のためにLLMを活用するNeuro-LIFTは、人間のスピーチを高レベルな計画コマンドに変換し、イベントベースのニューロモルフィックビジョンと物理駆動計画を使用して自律的に実行される。 本フレームワークは,動的な環境下での航行,障害物回避,人間の指示にリアルタイムで適応する能力を示す。

関連論文リスト

• Artificial General Intelligence (AGI)-Native Wireless Systems: A Journey Beyond 6G [58.440115433585824]
  デジタルツイン(DT)のようなサービスをサポートする将来の無線システムの構築は、メタサーフェスのような従来の技術への進歩を通じて達成することが困難である。 人工知能(AI)ネイティブネットワークは、無線技術のいくつかの制限を克服することを約束する一方で、開発は依然としてニューラルネットワークのようなAIツールに依存している。 本稿では、AIネイティブ無線システムの概念を再考し、それらを人工知能(AGI)ネイティブシステムに変換するために必要な共通感覚を取り入れた。
  論文  参考訳（メタデータ） (2024-04-29T04:51:05Z)
• Embodied Neuromorphic Artificial Intelligence for Robotics: Perspectives, Challenges, and Research Development Stack [7.253801704452419]
  スパイキングニューラルネットワーク(SNN)によるニューロモルフィックコンピューティングの最近の進歩は、ロボット工学の具体的インテリジェンスを可能にする可能性を実証している。 本稿では, ロボットシステムにおいて, エンボディ型ニューロモーフィックAIを実現する方法について考察する。
  論文  参考訳（メタデータ） (2024-04-04T09:52:22Z)
• AUTONODE: A Neuro-Graphic Self-Learnable Engine for Cognitive GUI Automation [0.0]
  オンラインニューログラフィック操作と深部探索によるユーザインタフェースの自律的変換 我々のエンジンはエージェントが複雑に理解し実装し、非並列な効率で動的Web環境に適応することを可能にする。 AUTONODEの汎用性と有効性は一連の実験を通じて実証され、様々なWebベースのタスクを管理する能力を強調している。
  論文  参考訳（メタデータ） (2024-03-15T10:27:17Z)
• LPAC: Learnable Perception-Action-Communication Loops with Applications to Coverage Control [80.86089324742024]
  本稿では,その問題に対する学習可能なパーセプション・アクション・コミュニケーション(LPAC)アーキテクチャを提案する。 CNNは局所認識を処理する。グラフニューラルネットワーク(GNN)はロボットのコミュニケーションを促進する。 評価の結果,LPACモデルは標準分散型および集中型カバレッジ制御アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-10T00:08:00Z)
• Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic Systems [67.01132165581667]
  本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。 本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
  論文  参考訳（メタデータ） (2023-11-13T21:20:17Z)
• Bio-inspired spike-based Hippocampus and Posterior Parietal Cortex models for robot navigation and environment pseudo-mapping [52.77024349608834]
  本研究はスパイクに基づくロボットナビゲーションと環境擬似マッピングシステムを提案する。 海馬は環境状態マップの表現を担い、PPCは局所的な意思決定を担当している。 これはバイオインスパイアされた海馬記憶に基づく動的学習を用いた環境擬似マッピングシステムの最初の実装である。
  論文  参考訳（メタデータ） (2023-05-22T10:20:34Z)
• Learning Deep Sensorimotor Policies for Vision-based Autonomous Drone Racing [52.50284630866713]
  既存のシステムは、状態推定、計画、制御のために手作業によるコンポーネントを必要とすることが多い。 本稿では、深層感触者ポリシーを学習することで、視覚に基づく自律ドローンレース問題に取り組む。
  論文  参考訳（メタデータ） (2022-10-26T19:03:17Z)
• A toolbox for neuromorphic sensing in robotics [4.157415305926584]
  ロボット上で利用可能なあらゆる種類のセンサからの入力信号をエンコードし、デコードするためのROS(Robot Operating System)ツールボックスを導入する。 このイニシアチブは、ニューロモルフィックAIのロボット統合を刺激し促進することを目的としている。
  論文  参考訳（メタデータ） (2021-03-03T23:22:05Z)
• Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
  感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。 軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。 NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
  論文  参考訳（メタデータ） (2020-12-04T18:59:32Z)
• A Spiking Neural Network Emulating the Structure of the Oculomotor System Requires No Learning to Control a Biomimetic Robotic Head [0.0]
  バイオミメティック・ロボットヘッドのプロトタイプの心臓にニューロモルフィック・オキュロモータ・コントローラが配置されている。 コントローラは、すべてのデータがスパイクニューラルネットワーク(SNN)によって符号化され、処理されるという意味でユニークなものです。 ロボットの目標追跡能力について報告し、その眼球運動学は人間の眼研究で報告されたものと類似していることを示し、生物学的に制約された学習を用いて、その性能をさらに向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-18T13:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。