論文の概要: How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?

• arxiv url: http://arxiv.org/abs/2402.09546v2
• Date: Fri, 23 May 2025 04:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.36691
• Title: How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?
• Title（参考訳）: 都市環境におけるナビゲーションのための大規模言語モデル(LLM)の安全性
• Authors: Congcong Wen, Jiazhao Liang, Shuaihang Yuan, Hao Huang, Geeta Chandra Raju Bethala, Yu-Shen Liu, Mengyu Wang, Anthony Tzes, Yi Fang,
• Abstract要約: 本稿では,従来のナビゲーションプロンプトを摂動することで,LSMに基づくナビゲーションモデルを操作する新しいナビゲーションプロンプト攻撃を提案する。 その結果,ホワイトボックス攻撃とブラックボックス攻撃の両方に直面した7つの指標において,顕著なパフォーマンス低下が認められた。 最初の対策として,ナビゲーション・プロンプト・エンジニアリング(NPE)防衛戦略を提案する。
• 参考スコア（独自算出の注目度）: 32.05931191814951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of robotics and automation, navigation systems based on Large Language Models (LLMs) have recently demonstrated impressive performance. However, the security aspects of these systems have received relatively less attention. This paper pioneers the exploration of vulnerabilities in LLM-based navigation models in urban outdoor environments, a critical area given the widespread application of this technology in autonomous driving, logistics, and emergency services. Specifically, we introduce a novel Navigational Prompt Attack that manipulates LLM-based navigation models by perturbing the original navigational prompt, leading to incorrect actions. Based on the method of perturbation, our attacks are divided into two types: Navigational Prompt Insert (NPI) Attack and Navigational Prompt Swap (NPS) Attack. We conducted comprehensive experiments on an LLM-based navigation model that employs various LLMs for reasoning. Our results, derived from the Touchdown and Map2Seq street-view datasets under both few-shot learning and fine-tuning configurations, demonstrate notable performance declines across seven metrics in the face of both white-box and black-box attacks. Moreover, our attacks can be easily extended to other LLM-based navigation models with similarly effective results. These findings highlight the generalizability and transferability of the proposed attack, emphasizing the need for enhanced security in LLM-based navigation systems. As an initial countermeasure, we propose the Navigational Prompt Engineering (NPE) Defense strategy, which concentrates on navigation-relevant keywords to reduce the impact of adversarial attacks. While initial findings indicate that this strategy enhances navigational safety, there remains a critical need for the wider research community to develop stronger defense methods to effectively tackle the real-world challenges faced by these systems.
• Abstract（参考訳）: ロボット工学と自動化の分野では,Large Language Models (LLMs) に基づくナビゲーションシステムが近年,目覚ましい性能を誇示している。 しかし、これらのシステムのセキュリティ面は比較的注目を集めていない。 本稿では,この技術を自律運転,物流,救急サービスに広く応用することを考えると,都市屋外環境におけるLCMに基づくナビゲーションモデルの脆弱性の探索の先駆者となる。 具体的には,LLMに基づくナビゲーションモデルを操作する新しいナビゲーション・プロンプト・アタックを導入し,元のナビゲーション・プロンプトを摂動させ,誤った行動を引き起こす。 摂動法に基づいて,我々の攻撃はナビゲーション・プロンプト・インサート(NPI)アタックとナビゲーション・プロンプト・スワップ(NPS)アタックの2つのタイプに分けられる。 様々なLSMを用いた航法モデルについて総合的な実験を行った。 TouchdownとMap2Seqのストリートビューデータセットから得られたこの結果は、ホワイトボックスとブラックボックスの両方の攻撃に直面した7つの指標において、顕著なパフォーマンス低下を示している。 さらに、我々の攻撃はLLMに基づく他のナビゲーションモデルにも容易に拡張でき、同様の効果が期待できる。 これらの知見は、LLMベースのナビゲーションシステムにおけるセキュリティ強化の必要性を強調し、提案した攻撃の一般化性と転送可能性を強調した。 最初の対策として,ナビゲーション関連キーワードに着目したナビゲーション・プロンプト・エンジニアリング(NPE)防衛戦略を提案する。 最初の発見は、この戦略が航法安全を高めることを示唆しているが、これらのシステムに直面する現実的な課題に効果的に取り組むための、より強力な防衛方法を開発するための幅広い研究コミュニティにとって、依然として重要な必要性が残っている。

関連論文リスト

• Exploring the Roles of Large Language Models in Reshaping Transportation Systems: A Survey, Framework, and Roadmap [51.198001060683296]
  大型言語モデル(LLM)は、輸送上の課題に対処するための変革的な可能性を提供する。 LLM4TRは,交通におけるLSMの役割を体系的に分類する概念的枠組みである。 それぞれの役割について,交通予測や自律運転,安全分析,都市移動最適化など,さまざまな応用について検討した。
  論文  参考訳（メタデータ） (2025-03-27T11:56:27Z)
• Hierarchical Reinforcement Learning for Safe Mapless Navigation with Congestion Estimation [7.339743259039457]
  本稿では,階層的強化学習(HRL)を利用した安全な地図レスナビゲーションフレームワークを提案する。 その結果,HRLに基づくナビゲーションフレームワークは静的シナリオと動的シナリオの両方で優れていることがわかった。 本研究では,物理的な検証実験を行うために,TurtleBot3ロボット上にHRLベースのナビゲーションフレームワークを実装した。
  論文  参考訳（メタデータ） (2025-03-15T08:03:50Z)
• Dynamic Path Navigation for Motion Agents with LLM Reasoning [69.5875073447454]
  大規模言語モデル(LLM)は、強力な一般化可能な推論と計画能力を示している。 本研究では,LLMのゼロショットナビゲーションと経路生成機能について,データセットの構築と評価プロトコルの提案により検討する。 このようなタスクが適切に構成されている場合、現代のLCMは、目標に到達するために生成された動きでナビゲーションを自律的に精錬しながら障害を回避するためのかなりの計画能力を示す。
  論文  参考訳（メタデータ） (2025-03-10T13:39:09Z)
• Navigation-GPT: A Robust and Adaptive Framework Utilizing Large Language Models for Navigation Applications [6.990141986853289]
  既存のナビゲーション決定支援システムは、未定義のシナリオを扱う場合、しばしば性能が良くない。 この問題に対処するためのLLMアプリケーションのためのデュアルコアフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-23T01:41:58Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• Guide-LLM: An Embodied LLM Agent and Text-Based Topological Map for Robotic Guidance of People with Visual Impairments [1.18749525824656]
  Guide-LLMは、大きな屋内環境をナビゲートする際の視覚障害者(PVI)を支援するために設計されたテキストベースのエージェントである。 我々のアプローチは,LLMがグローバルパスを計画できる新しいテキストベースのトポロジマップを特徴としている。 シミュレーション実験は、PVIを誘導するシステムの有効性を実証し、その可能性を補助技術の重要な進歩として示している。
  論文  参考訳（メタデータ） (2024-10-28T01:58:21Z)
• A Study on Prompt Injection Attack Against LLM-Integrated Mobile Robotic Systems [4.71242457111104]
  大規模言語モデル(LLM)はマルチモーダルプロンプトを処理でき、よりコンテキスト対応の応答を生成することができる。 主な懸念事項の1つは、ロボットナビゲーションタスクでLLMを使用する際の潜在的なセキュリティリスクである。 本研究は,LPM統合システムにおける即時注入が移動ロボットの性能に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-08-07T02:48:22Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• MC-GPT: Empowering Vision-and-Language Navigation with Memory Map and Reasoning Chains [4.941781282578696]
  Vision-and-Language Navigation (VLN)タスクでは、エージェントは自然言語の指示に従って目的地に向かう必要がある。 学習ベースのアプローチはタスクに対する主要な解決策だが、高いトレーニングコストと解釈可能性の欠如に悩まされている。 近年、Large Language Models (LLMs) は強力な一般化能力のため、VLNにとって有望なツールとして登場した。
  論文  参考訳（メタデータ） (2024-05-17T08:33:27Z)
• TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation [11.591176410027224]
  本稿では,Large Language Models(LLM)に基づく視覚言語ナビゲーション(VLN)エージェントを提案する。 環境認識におけるLLMの欠点を補うための思考・相互作用・行動の枠組みを提案する。 また,本手法は教師付き学習手法よりも優れ,ゼロショットナビゲーションの有効性を強調した。
  論文  参考訳（メタデータ） (2024-03-13T05:22:39Z)
• NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [101.56342075720588]
  Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:27:02Z)
• Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
  本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• ETPNav: Evolving Topological Planning for Vision-Language Navigation in Continuous Environments [56.194988818341976]
  視覚言語ナビゲーションは、エージェントが環境中をナビゲートするための指示に従う必要があるタスクである。 本研究では,1)環境を抽象化し,長距離航法計画を生成する能力,2)連続環境における障害物回避制御能力の2つの重要なスキルに焦点を当てたETPNavを提案する。 ETPNavは、R2R-CEとRxR-CEデータセットの先行技術よりも10%以上、20%改善されている。
  論文  参考訳（メタデータ） (2023-04-06T13:07:17Z)
• Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning [91.13113161754022]
  本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。 実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-02-20T21:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。