論文の概要: How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?

• arxiv url: http://arxiv.org/abs/2402.09546v1
• Date: Wed, 14 Feb 2024 19:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 18:06:39.608621
• Title: How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?
• Title（参考訳）: 都市環境のナビゲーションにおける大規模言語モデル(llm)の安全性
• Authors: Congcong Wen, Jiazhao Liang, Shuaihang Yuan, Hao Huang, Yi Fang
• Abstract要約: 本稿では,Large Language Models(LLM)に基づくナビゲーションシステムにおける脆弱性の探索の先駆者となる。 本稿では,従来のナビゲーションプロンプトに勾配由来の接尾辞を付加することにより,LSMに基づくナビゲーションモデルを操作する新しいナビゲーション・プロンプト・サフィックス(NPS)アタックを提案する。 本研究は,NPSアタックの汎用性と転送可能性を強調し,LLMナビゲーションシステムにおけるセキュリティ強化の必要性を強調した。
• 参考スコア（独自算出の注目度）: 16.45529092831176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of robotics and automation, navigation systems based on Large Language Models (LLMs) have recently shown impressive performance. However, the security aspects of these systems have received relatively less attention. This paper pioneers the exploration of vulnerabilities in LLM-based navigation models in urban outdoor environments, a critical area given the technology's widespread application in autonomous driving, logistics, and emergency services. Specifically, we introduce a novel Navigational Prompt Suffix (NPS) Attack that manipulates LLM-based navigation models by appending gradient-derived suffixes to the original navigational prompt, leading to incorrect actions. We conducted comprehensive experiments on an LLMs-based navigation model that employs various LLMs for reasoning. Our results, derived from the Touchdown and Map2Seq street-view datasets under both few-shot learning and fine-tuning configurations, demonstrate notable performance declines across three metrics in the face of both white-box and black-box attacks. These results highlight the generalizability and transferability of the NPS Attack, emphasizing the need for enhanced security in LLM-based navigation systems. As an initial countermeasure, we propose the Navigational Prompt Engineering (NPE) Defense strategy, concentrating on navigation-relevant keywords to reduce the impact of adversarial suffixes. While initial findings indicate that this strategy enhances navigational safety, there remains a critical need for the wider research community to develop stronger defense methods to effectively tackle the real-world challenges faced by these systems.
• Abstract（参考訳）: ロボット工学と自動化の分野では,Large Language Models (LLM) に基づくナビゲーションシステムが近年,目覚ましい性能を示している。 しかし、これらのシステムのセキュリティ面は比較的注目を集めていない。 本論文は,自動運転,ロジスティクス,緊急サービスに広く応用されていることから,都市屋外環境におけるllmに基づくナビゲーションモデルの脆弱性の探索を開拓する。 具体的には,従来のナビゲーションプロンプトに勾配由来の接尾辞を付加することによりLCMに基づくナビゲーションモデルを操作する新しいナビゲーション・プロンプト・サフィックス(NPS)アタックを導入する。 様々なLSMを用いた航法モデルについて総合的な実験を行った。 この結果はTouchdownとMap2Seqのストリートビューデータセットから得られたもので、ホワイトボックスとブラックボックスの両方の攻撃に直面した3つの指標で顕著なパフォーマンス低下を示している。 これらの結果はNPSアタックの一般化性と転送可能性を強調し、LLMベースのナビゲーションシステムにおけるセキュリティ強化の必要性を強調した。 最初の対策として,ナビゲーション関連キーワードに着目したナビゲーション・プロンプト・エンジニアリング(NPE)防衛戦略を提案する。 最初の発見は、この戦略が航行の安全性を高めることを示しているが、より広い研究コミュニティは、これらのシステムが直面する現実世界の課題に効果的に取り組むために、より強力な防御方法を開発する必要がある。

関連論文リスト

• Guide-LLM: An Embodied LLM Agent and Text-Based Topological Map for Robotic Guidance of People with Visual Impairments [1.18749525824656]
  Guide-LLMは、大きな屋内環境をナビゲートする際の視覚障害者(PVI)を支援するために設計されたテキストベースのエージェントである。 我々のアプローチは,LLMがグローバルパスを計画できる新しいテキストベースのトポロジマップを特徴としている。 シミュレーション実験は、PVIを誘導するシステムの有効性を実証し、その可能性を補助技術の重要な進歩として示している。
  論文  参考訳（メタデータ） (2024-10-28T01:58:21Z)
• A Study on Prompt Injection Attack Against LLM-Integrated Mobile Robotic Systems [4.71242457111104]
  大規模言語モデル(LLM)はマルチモーダルプロンプトを処理でき、よりコンテキスト対応の応答を生成することができる。 主な懸念事項の1つは、ロボットナビゲーションタスクでLLMを使用する際の潜在的なセキュリティリスクである。 本研究は,LPM統合システムにおける即時注入が移動ロボットの性能に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-08-07T02:48:22Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• MC-GPT: Empowering Vision-and-Language Navigation with Memory Map and Reasoning Chains [4.941781282578696]
  Vision-and-Language Navigation (VLN)タスクでは、エージェントは自然言語の指示に従って目的地に向かう必要がある。 学習ベースのアプローチはタスクに対する主要な解決策だが、高いトレーニングコストと解釈可能性の欠如に悩まされている。 近年、Large Language Models (LLMs) は強力な一般化能力のため、VLNにとって有望なツールとして登場した。
  論文  参考訳（メタデータ） (2024-05-17T08:33:27Z)
• TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation [11.591176410027224]
  本稿では,Large Language Models(LLM)に基づく視覚言語ナビゲーション(VLN)エージェントを提案する。 環境認識におけるLLMの欠点を補うための思考・相互作用・行動の枠組みを提案する。 また,本手法は教師付き学習手法よりも優れ,ゼロショットナビゲーションの有効性を強調した。
  論文  参考訳（メタデータ） (2024-03-13T05:22:39Z)
• NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [101.56342075720588]
  Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:27:02Z)
• Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
  本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• ETPNav: Evolving Topological Planning for Vision-Language Navigation in Continuous Environments [56.194988818341976]
  視覚言語ナビゲーションは、エージェントが環境中をナビゲートするための指示に従う必要があるタスクである。 本研究では,1)環境を抽象化し,長距離航法計画を生成する能力,2)連続環境における障害物回避制御能力の2つの重要なスキルに焦点を当てたETPNavを提案する。 ETPNavは、R2R-CEとRxR-CEデータセットの先行技術よりも10%以上、20%改善されている。
  論文  参考訳（メタデータ） (2023-04-06T13:07:17Z)
• Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning [91.13113161754022]
  本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。 実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-02-20T21:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。