論文の概要: On the Vulnerability of LLM/VLM-Controlled Robotics

• arxiv url: http://arxiv.org/abs/2402.10340v5
• Date: Fri, 07 Mar 2025 04:01:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 19:13:14.535577
• Title: On the Vulnerability of LLM/VLM-Controlled Robotics
• Title（参考訳）: LLM/VLM制御ロボットの脆弱性について
• Authors: Xiyang Wu, Souradip Chakraborty, Ruiqi Xian, Jing Liang, Tianrui Guan, Fuxiao Liu, Brian M. Sadler, Dinesh Manocha, Amrit Singh Bedi,
• Abstract要約: 大規模言語モデル(LLM)と視覚言語モデル(VLM)を統合するロボットシステムの脆弱性を,入力モダリティの感度によって強調する。 LLM/VLM制御型2つのロボットシステムにおいて,単純な入力摂動がタスク実行の成功率を22.2%,14.6%減少させることを示す。
• 参考スコア（独自算出の注目度）: 54.57914943017522
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this work, we highlight vulnerabilities in robotic systems integrating large language models (LLMs) and vision-language models (VLMs) due to input modality sensitivities. While LLM/VLM-controlled robots show impressive performance across various tasks, their reliability under slight input variations remains underexplored yet critical. These models are highly sensitive to instruction or perceptual input changes, which can trigger misalignment issues, leading to execution failures with severe real-world consequences. To study this issue, we analyze the misalignment-induced vulnerabilities within LLM/VLM-controlled robotic systems and present a mathematical formulation for failure modes arising from variations in input modalities. We propose empirical perturbation strategies to expose these vulnerabilities and validate their effectiveness through experiments on multiple robot manipulation tasks. Our results show that simple input perturbations reduce task execution success rates by 22.2% and 14.6% in two representative LLM/VLM-controlled robotic systems. These findings underscore the importance of input modality robustness and motivate further research to ensure the safe and reliable deployment of advanced LLM/VLM-controlled robotic systems.
• Abstract（参考訳）: 本研究では,大規模言語モデル (LLM) と視覚言語モデル (VLM) を統合するロボットシステムの脆弱性について述べる。 LLM/VLM制御ロボットは、様々なタスクにおいて優れた性能を示すが、わずかな入力変化下での信頼性は、まだ探索が過小評価されていない。 これらのモデルは、命令や知覚的な入力変更に非常に敏感であり、誤調整問題を引き起こし、現実の重大な結果を伴う実行障害を引き起こす可能性がある。 そこで本研究では,LLM/VLM制御ロボットシステムにおける誤調整による脆弱性を解析し,入力モダリティの変動に起因する故障モードの数学的定式化について述べる。 本稿では,これらの脆弱性を暴露し,複数のロボット操作タスクの実験を通じて有効性を検証するための経験的摂動戦略を提案する。 LLM/VLM制御型2つのロボットシステムにおいて,単純な入力摂動がタスク実行の成功率を22.2%,14.6%減少させることを示す。 これらの知見は、高度LLM/VLM制御ロボットシステムの安全性と信頼性を確保するために、入力モダリティの堅牢性の重要性を強調し、さらなる研究を動機付けている。

関連論文リスト

• Identifying Uncertainty in Self-Adaptive Robotics with Large Language Models [4.638192191684079]
  我々は,大規模言語モデル(LLM)が自己適応型ロボット工学における不確実性を特定するための体系的なアプローチを可能にする可能性を評価する。 産業用ロボットのケーススタディにおいて,10種類の高度なLCMを多種多様な能力で分析した。 その結果, LLMの回答の63～88%と一致し, LLMの実用性への強い関心を示した。
  論文  参考訳（メタデータ） (2025-04-29T12:07:39Z)
• LLMpatronous: Harnessing the Power of LLMs For Vulnerability Detection [0.0]
  脆弱性検出のための大規模言語モデル(LLM)には、ユニークな課題がある。 脆弱性検出に機械学習モデルを使用した以前の試みは、効果がないことが証明されている。 我々は、これらの制限を緩和することに焦点を当てた、堅牢なAI駆動アプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-25T15:30:40Z)
• Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [70.93622520400385]
  本稿では,VLAに基づくロボットシステムのロバスト性を体系的に評価する。 本研究では,ロボット行動の不安定化に空間的基盤を活用する,標的のない位置認識型攻撃目標を提案する。 また、カメラの視野内に小さなカラフルなパッチを配置し、デジタル環境と物理環境の両方で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
  論文  参考訳（メタデータ） (2024-11-18T01:52:20Z)
• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
  大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。 現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。 我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-11-04T17:41:25Z)
• A Study on Prompt Injection Attack Against LLM-Integrated Mobile Robotic Systems [4.71242457111104]
  大規模言語モデル(LLM)はマルチモーダルプロンプトを処理でき、よりコンテキスト対応の応答を生成することができる。 主な懸念事項の1つは、ロボットナビゲーションタスクでLLMを使用する際の潜在的なセキュリティリスクである。 本研究は,LPM統合システムにおける即時注入が移動ロボットの性能に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-08-07T02:48:22Z)
• LLM-Driven Robots Risk Enacting Discrimination, Violence, and Unlawful Actions [3.1247504290622214]
  研究は、大規模言語モデルが現実世界のロボット実験や応用において差別的な結果や安全でない行動をもたらす可能性を懸念している。 高い評価を受けたLLMの識別基準と安全性基準のHRIに基づく評価を行う。 結果から, 組織的, 定期的, 包括的リスクアセスメントと, 成果改善のための保証の必要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2024-06-13T05:31:49Z)
• SLM as Guardian: Pioneering AI Safety with Small Language Models [6.799423428734095]
  より大型のモデルにセーフガード機能を組み込むことで、トレーニングコストの上昇と意図しない有用性の低下が問題となった。 本稿では、有害なクエリ検出とセーフガード応答生成の両方に、より小さなLSMを利用する。 提案手法の有効性を実証し,LLMと比較して,有害なクエリ検出およびセーフガード応答性能を同等又は超過する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T08:03:15Z)
• Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-Making Systems [27.316115171846953]
  大規模言語モデル(LLM)は、実世界のAI意思決定タスクにおいて大きな可能性を示している。 LLMは、固有の常識と推論能力を活用するために微調整され、特定の用途に適合する。 この微調整プロセスは、特に安全クリティカルなサイバー物理システムにおいて、かなりの安全性とセキュリティの脆弱性をもたらす。
  論文  参考訳（メタデータ） (2024-05-27T17:59:43Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Machine Learning Meets Advanced Robotic Manipulation [48.6221343014126]
  本論文は、最先端技術と、実世界の操作タスクに適用された機械学習手法の最近の動向についてレビューする。 論文の残りの部分は、産業、医療、農業、宇宙、軍事、捜索救助など、さまざまな分野におけるML応用に費やされている。
  論文  参考訳（メタデータ） (2023-09-22T01:06:32Z)
• Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [101.43350024175157]
  自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。 我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。 コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-06T01:36:56Z)
• AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot Manipulation [50.737355245505334]
  本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。 得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
  論文  参考訳（メタデータ） (2023-05-30T09:54:20Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)
• Bridging Active Exploration and Uncertainty-Aware Deployment Using Probabilistic Ensemble Neural Network Dynamics [11.946807588018595]
  本稿では,活発な探索と不確実性を考慮した展開を橋渡しするモデルベース強化学習フレームワークを提案する。 探索と展開の対立する2つのタスクは、最先端のサンプリングベースのMPCによって最適化されている。 自動運転車と車輪付きロボットの両方で実験を行い、探索と展開の両方に有望な結果を示します。
  論文  参考訳（メタデータ） (2023-05-20T17:20:12Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。