論文の概要: How Secure Are Large Language Models (LLMs) for Navigation in Urban
Environments?
- arxiv url: http://arxiv.org/abs/2402.09546v1
- Date: Wed, 14 Feb 2024 19:45:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 18:06:39.608621
- Title: How Secure Are Large Language Models (LLMs) for Navigation in Urban
Environments?
- Title(参考訳): 都市環境のナビゲーションにおける大規模言語モデル(llm)の安全性
- Authors: Congcong Wen, Jiazhao Liang, Shuaihang Yuan, Hao Huang, Yi Fang
- Abstract要約: 本稿では,Large Language Models(LLM)に基づくナビゲーションシステムにおける脆弱性の探索の先駆者となる。
本稿では,従来のナビゲーションプロンプトに勾配由来の接尾辞を付加することにより,LSMに基づくナビゲーションモデルを操作する新しいナビゲーション・プロンプト・サフィックス(NPS)アタックを提案する。
本研究は,NPSアタックの汎用性と転送可能性を強調し,LLMナビゲーションシステムにおけるセキュリティ強化の必要性を強調した。
- 参考スコア(独自算出の注目度): 16.45529092831176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of robotics and automation, navigation systems based on Large
Language Models (LLMs) have recently shown impressive performance. However, the
security aspects of these systems have received relatively less attention. This
paper pioneers the exploration of vulnerabilities in LLM-based navigation
models in urban outdoor environments, a critical area given the technology's
widespread application in autonomous driving, logistics, and emergency
services. Specifically, we introduce a novel Navigational Prompt Suffix (NPS)
Attack that manipulates LLM-based navigation models by appending
gradient-derived suffixes to the original navigational prompt, leading to
incorrect actions. We conducted comprehensive experiments on an LLMs-based
navigation model that employs various LLMs for reasoning. Our results, derived
from the Touchdown and Map2Seq street-view datasets under both few-shot
learning and fine-tuning configurations, demonstrate notable performance
declines across three metrics in the face of both white-box and black-box
attacks. These results highlight the generalizability and transferability of
the NPS Attack, emphasizing the need for enhanced security in LLM-based
navigation systems. As an initial countermeasure, we propose the Navigational
Prompt Engineering (NPE) Defense strategy, concentrating on navigation-relevant
keywords to reduce the impact of adversarial suffixes. While initial findings
indicate that this strategy enhances navigational safety, there remains a
critical need for the wider research community to develop stronger defense
methods to effectively tackle the real-world challenges faced by these systems.
- Abstract(参考訳): ロボット工学と自動化の分野では,Large Language Models (LLM) に基づくナビゲーションシステムが近年,目覚ましい性能を示している。
しかし、これらのシステムのセキュリティ面は比較的注目を集めていない。
本論文は,自動運転,ロジスティクス,緊急サービスに広く応用されていることから,都市屋外環境におけるllmに基づくナビゲーションモデルの脆弱性の探索を開拓する。
具体的には,従来のナビゲーションプロンプトに勾配由来の接尾辞を付加することによりLCMに基づくナビゲーションモデルを操作する新しいナビゲーション・プロンプト・サフィックス(NPS)アタックを導入する。
様々なLSMを用いた航法モデルについて総合的な実験を行った。
この結果はTouchdownとMap2Seqのストリートビューデータセットから得られたもので、ホワイトボックスとブラックボックスの両方の攻撃に直面した3つの指標で顕著なパフォーマンス低下を示している。
これらの結果はNPSアタックの一般化性と転送可能性を強調し、LLMベースのナビゲーションシステムにおけるセキュリティ強化の必要性を強調した。
最初の対策として,ナビゲーション関連キーワードに着目したナビゲーション・プロンプト・エンジニアリング(NPE)防衛戦略を提案する。
最初の発見は、この戦略が航行の安全性を高めることを示しているが、より広い研究コミュニティは、これらのシステムが直面する現実世界の課題に効果的に取り組むために、より強力な防御方法を開発する必要がある。
関連論文リスト
- TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation [11.591176410027224]
本稿では,Large Language Models(LLM)に基づく視覚言語ナビゲーション(VLN)エージェントを提案する。
環境認識におけるLLMの欠点を補うための思考・相互作用・行動の枠組みを提案する。
また,本手法は教師付き学習手法よりも優れ,ゼロショットナビゲーションの有効性を強調した。
論文 参考訳(メタデータ) (2024-03-13T05:22:39Z) - NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning
Disentangled Reasoning [101.56342075720588]
Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。
近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。
本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
論文 参考訳(メタデータ) (2024-03-12T07:27:02Z) - Stealthy Attack on Large Language Model based Recommendation [25.975404074836582]
大規模言語モデル (LLM) はレコメンダシステム (RS) の進歩を推進している。
本研究では,レコメンデーションモデルにLSMを導入することで,項目のテキスト内容に重点を置いているため,新たなセキュリティ脆弱性が生じることを明らかにした。
攻撃者は、テストフェーズ中に単にテキストの内容を変更するだけで、アイテムの露出を大幅に向上させることができることを実証する。
論文 参考訳(メタデータ) (2024-02-18T16:51:02Z) - On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting
the Risks and Vulnerabilities [50.31806287390321]
ロボットの動作を操作または誤操作することは容易であり、安全上の危険をもたらす。
我々のデータは、即時攻撃で21.2%、知覚攻撃で30.2%の平均的なパフォーマンス劣化を示す。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。
LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。
適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文 参考訳(メタデータ) (2023-11-28T03:13:09Z) - NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large
Language Models [17.495162643127003]
我々は,複雑なエンボディシーンにおけるGPTモデルの推論能力を明らかにするために,NavGPTを導入した。
NavGPTは、視覚的な観察、ナビゲーション履歴、将来の探索可能な方向のテキスト記述を入力として、エージェントの現在の状態を推論する。
本研究では,NavGPTが経路に沿った観察や行動から高品質なナビゲーション命令を生成可能であることを示す。
論文 参考訳(メタデータ) (2023-05-26T14:41:06Z) - ETPNav: Evolving Topological Planning for Vision-Language Navigation in
Continuous Environments [56.194988818341976]
視覚言語ナビゲーションは、エージェントが環境中をナビゲートするための指示に従う必要があるタスクである。
本研究では,1)環境を抽象化し,長距離航法計画を生成する能力,2)連続環境における障害物回避制御能力の2つの重要なスキルに焦点を当てたETPNavを提案する。
ETPNavは、R2R-CEとRxR-CEデータセットの先行技術よりも10%以上、20%改善されている。
論文 参考訳(メタデータ) (2023-04-06T13:07:17Z) - Using Deep Reinforcement Learning with Automatic Curriculum earning for
Mapless Navigation in Intralogistics [0.7633618497843278]
本稿では,倉庫シナリオにおけるマップレスナビゲーション問題を解決するための深層強化学習手法を提案する。
自動誘導車両は、LiDARと前頭RGBセンサーを備え、目標のドームの下に到達することを学ぶ。
NavACL-Qは、学習プロセス全体を大幅に促進し、事前訓練された特徴抽出器は、トレーニング速度を顕著に向上させる。
論文 参考訳(メタデータ) (2022-02-23T13:50:01Z) - Active Visual Information Gathering for Vision-Language Navigation [115.40768457718325]
視覚言語ナビゲーション(VLN)は、エージェントがフォトリアリスティックな環境の中でナビゲーションの指示を行うためのタスクである。
VLNの重要な課題の1つは、曖昧な指示による不確実性を緩和し、環境の観察を不十分にすることで、堅牢なナビゲーションを行う方法である。
この研究は、人間のナビゲーション行動からインスピレーションを得て、よりインテリジェントなVLNポリシーのためのアクティブな情報収集能力を持つエージェントを提供する。
論文 参考訳(メタデータ) (2020-07-15T23:54:20Z) - Enhanced Adversarial Strategically-Timed Attacks against Deep
Reinforcement Learning [91.13113161754022]
本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。
実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
論文 参考訳(メタデータ) (2020-02-20T21:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。