論文の概要: A Study on Prompt Injection Attack Against LLM-Integrated Mobile Robotic Systems
- arxiv url: http://arxiv.org/abs/2408.03515v2
- Date: Mon, 9 Sep 2024 01:55:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 01:15:13.461365
- Title: A Study on Prompt Injection Attack Against LLM-Integrated Mobile Robotic Systems
- Title(参考訳): LLM内蔵移動ロボットシステムに対するプロンプトインジェクションアタックに関する研究
- Authors: Wenxiao Zhang, Xiangrui Kong, Conan Dewitt, Thomas Braunl, Jin B. Hong,
- Abstract要約: 大規模言語モデル(LLM)はマルチモーダルプロンプトを処理でき、よりコンテキスト対応の応答を生成することができる。
主な懸念事項の1つは、ロボットナビゲーションタスクでLLMを使用する際の潜在的なセキュリティリスクである。
本研究は,LPM統合システムにおける即時注入が移動ロボットの性能に及ぼす影響について検討する。
- 参考スコア(独自算出の注目度): 4.71242457111104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of Large Language Models (LLMs) like GPT-4o into robotic systems represents a significant advancement in embodied artificial intelligence. These models can process multi-modal prompts, enabling them to generate more context-aware responses. However, this integration is not without challenges. One of the primary concerns is the potential security risks associated with using LLMs in robotic navigation tasks. These tasks require precise and reliable responses to ensure safe and effective operation. Multi-modal prompts, while enhancing the robot's understanding, also introduce complexities that can be exploited maliciously. For instance, adversarial inputs designed to mislead the model can lead to incorrect or dangerous navigational decisions. This study investigates the impact of prompt injections on mobile robot performance in LLM-integrated systems and explores secure prompt strategies to mitigate these risks. Our findings demonstrate a substantial overall improvement of approximately 30.8% in both attack detection and system performance with the implementation of robust defence mechanisms, highlighting their critical role in enhancing security and reliability in mission-oriented tasks.
- Abstract(参考訳): GPT-4oのような大規模言語モデル(LLM)をロボットシステムに統合することは、組み込み人工知能の大幅な進歩を示している。
これらのモデルはマルチモーダルプロンプトを処理でき、よりコンテキスト対応の応答を生成することができる。
しかし、この統合には課題はない。
主な懸念事項の1つは、ロボットナビゲーションタスクでLLMを使用する際の潜在的なセキュリティリスクである。
これらのタスクは、安全かつ効果的な操作を保証するために、正確で信頼性の高い応答を必要とする。
マルチモーダルプロンプトは、ロボットの理解を高める一方で、悪意ある悪用が可能な複雑さも導入する。
例えば、モデルを誤解させるように設計された敵の入力は、誤ったあるいは危険なナビゲーション決定につながる可能性がある。
本研究は,LSM統合システムにおける移動ロボットの性能に及ぼす即時注入の影響について検討し,これらのリスクを軽減するための安全な迅速な戦略を探究する。
本研究は、ロバスト防御機構の実装により、攻撃検知とシステム性能の双方において、約30.8%の大幅な全体的な改善が示され、ミッション指向タスクにおけるセキュリティと信頼性の向上における重要な役割を強調した。
関連論文リスト
- Security Matrix for Multimodal Agents on Mobile Devices: A Systematic and Proof of Concept Study [16.559272781032632]
マルチモーダル大規模言語モデルの推論能力の急速な進歩は、モバイルデバイス上での自律エージェントシステムの開発をきっかけにしている。
ヒトと機械の相互作用効率が向上したにもかかわらず、MLLMベースの移動エージェントシステムのセキュリティリスクは体系的に研究されていない。
本稿では,MLLMシステムの設計におけるセキュリティ意識の必要性を強調し,今後の攻撃・防御手法の研究の道を開く。
論文 参考訳(メタデータ) (2024-07-12T14:30:05Z) - Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal [0.0]
本稿では,従来のシステムにおけるリスク評価手法のようなツールを用いたリスク評価プロセスを提案する。
我々は、潜在的な脅威要因を特定し、脆弱性要因に対して依存するシステムコンポーネントをマッピングするためのシナリオ分析を行う。
3つの主要株主グループに対する脅威もマップ化しています。
論文 参考訳(メタデータ) (2024-03-20T05:17:22Z) - Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - Security Considerations in AI-Robotics: A Survey of Current Methods,
Challenges, and Opportunities [4.466887678364242]
本稿では,AI-ロボティクスシステムにおけるセキュリティ問題への対処の必要性から,3次元にわたる包括的調査と分類について述べる。
まず、潜在的な攻撃面を調査し、防御戦略を緩和することから始める。
次に、依存関係や心理的影響などの倫理的問題や、これらのシステムに対する説明責任に関する法的懸念を掘り下げる。
論文 参考訳(メタデータ) (2023-10-12T17:54:20Z) - AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot
Manipulation [50.737355245505334]
本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。
得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
論文 参考訳(メタデータ) (2023-05-30T09:54:20Z) - Bridging Active Exploration and Uncertainty-Aware Deployment Using
Probabilistic Ensemble Neural Network Dynamics [11.946807588018595]
本稿では,活発な探索と不確実性を考慮した展開を橋渡しするモデルベース強化学習フレームワークを提案する。
探索と展開の対立する2つのタスクは、最先端のサンプリングベースのMPCによって最適化されている。
自動運転車と車輪付きロボットの両方で実験を行い、探索と展開の両方に有望な結果を示します。
論文 参考訳(メタデータ) (2023-05-20T17:20:12Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Active Predicting Coding: Brain-Inspired Reinforcement Learning for
Sparse Reward Robotic Control Problems [79.07468367923619]
ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。
我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。
提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
論文 参考訳(メタデータ) (2022-09-19T16:49:32Z) - Tiny Robot Learning: Challenges and Directions for Machine Learning in
Resource-Constrained Robots [57.27442333662654]
機械学習(ML)は、コンピュータシステムにまたがる普及したツールとなっている。
ティニー・ロボット・ラーニング(Tiny Robot Learning)とは、リソースに制約された低コストの自律ロボットにMLを配置する手法である。
小型ロボット学習は、サイズ、重量、面積、パワー(SWAP)の制約によって困難にさらされる。
本稿では,小型ロボットの学習空間を簡潔に調査し,重要な課題を詳述し,MLシステム設計における将来的な仕事の機会を提案する。
論文 参考訳(メタデータ) (2022-05-11T19:36:15Z) - Enhanced Adversarial Strategically-Timed Attacks against Deep
Reinforcement Learning [91.13113161754022]
本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。
実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
論文 参考訳(メタデータ) (2020-02-20T21:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。