論文の概要: Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis

• arxiv url: http://arxiv.org/abs/2503.03911v1
• Date: Wed, 05 Mar 2025 21:23:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:57:21.905285
• Title: Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis
• Title（参考訳）: 整合性解析によるホルマルガード付き安全LLM制御ロボット
• Authors: Ahmad Hafez, Alireza Naderi Akhormeh, Amr Hegazy, Amr Alanwar,
• Abstract要約: 本稿では,Large Language Models (LLM) 制御ロボットを対象とした,データ駆動型リーチビリティ解析に基づく安全保証フレームワークを提案する。 我々のアプローチは、明示的な分析モデルに頼ることなく、安全でない行動に対する厳密な安全保証を提供する。
• 参考スコア（独自算出の注目度）: 0.6749750044497732
• License:
• Abstract: The deployment of Large Language Models (LLMs) in robotic systems presents unique safety challenges, particularly in unpredictable environments. Although LLMs, leveraging zero-shot learning, enhance human-robot interaction and decision-making capabilities, their inherent probabilistic nature and lack of formal guarantees raise significant concerns for safety-critical applications. Traditional model-based verification approaches often rely on precise system models, which are difficult to obtain for real-world robotic systems and may not be fully trusted due to modeling inaccuracies, unmodeled dynamics, or environmental uncertainties. To address these challenges, this paper introduces a safety assurance framework for LLM-controlled robots based on data-driven reachability analysis, a formal verification technique that ensures all possible system trajectories remain within safe operational limits. Our framework specifically investigates the problem of instructing an LLM to navigate the robot to a specified goal and assesses its ability to generate low-level control actions that successfully guide the robot safely toward that goal. By leveraging historical data to construct reachable sets of states for the robot-LLM system, our approach provides rigorous safety guarantees against unsafe behaviors without relying on explicit analytical models. We validate the framework through experimental case studies in autonomous navigation and task planning, demonstrating its effectiveness in mitigating risks associated with LLM-generated commands. This work advances the integration of formal methods into LLM-based robotics, offering a principled and practical approach to ensuring safety in next-generation autonomous systems.
• Abstract（参考訳）: ロボットシステムにおけるLarge Language Models (LLM) の展開は、特に予測不可能な環境において、ユニークな安全性上の課題を示す。 LLMはゼロショット学習を活用し、人間とロボットの相互作用と意思決定能力を高めるが、その固有の確率的性質と形式的保証の欠如は、安全クリティカルなアプリケーションに重大な懸念をもたらす。 従来のモデルベースの検証アプローチは、しばしば正確なシステムモデルに依存しており、実際のロボットシステムでは入手が困難であり、不正確なモデリング、非モデル力学、環境の不確実性のために完全に信頼できない場合がある。 これらの課題に対処するために,データ駆動型リーチビリティ解析に基づくLLM制御ロボットの安全保証フレームワークを提案する。 本フレームワークは,ロボットを目標に向かって誘導する低レベル制御動作を生成する能力を評価するとともに,ロボットを目標に向かって安全に誘導する能力を評価する。 ロボットLLMシステムのための到達可能な状態セットを構築するために歴史的データを活用することにより、明示的な分析モデルに頼ることなく、安全でない行動に対する厳密な安全保証を提供する。 自律ナビゲーションとタスクプランニングの実験ケーススタディを通じて,LLM生成コマンドによるリスク軽減効果を実証し,その妥当性を検証した。 この研究は、LLMベースのロボティクスへのフォーマルな手法の統合を推進し、次世代の自律システムにおける安全性を確保するための原則的で実践的なアプローチを提供する。

関連論文リスト

• Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [70.93622520400385]
  本稿では,VLAに基づくロボットシステムのロバスト性を体系的に評価する。 本研究では,ロボット行動の不安定化に空間的基盤を活用する,標的のない位置認識型攻撃目標を提案する。 また、カメラの視野内に小さなカラフルなパッチを配置し、デジタル環境と物理環境の両方で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
  論文  参考訳（メタデータ） (2024-11-18T01:52:20Z)
• Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
  大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。 現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。 我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-11-04T17:41:25Z)
• A Study on Prompt Injection Attack Against LLM-Integrated Mobile Robotic Systems [4.71242457111104]
  大規模言語モデル(LLM)はマルチモーダルプロンプトを処理でき、よりコンテキスト対応の応答を生成することができる。 主な懸念事項の1つは、ロボットナビゲーションタスクでLLMを使用する際の潜在的なセキュリティリスクである。 本研究は,LPM統合システムにおける即時注入が移動ロボットの性能に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-08-07T02:48:22Z)
• ABNet: Attention BarrierNet for Safe and Scalable Robot Learning [58.4951884593569]
  バリアベースの手法は、安全なロボット学習における主要なアプローチの1つである。 本稿では,より大規模な基本安全モデルを段階的に構築するスケーラブルなAttention BarrierNet(ABNet)を提案する。 2次元ロボット障害物回避、安全なロボット操作、視覚に基づくエンドツーエンド自動運転におけるABNetの強みを実証する。
  論文  参考訳（メタデータ） (2024-06-18T19:37:44Z)
• Safety Control of Service Robots with LLMs and Embodied Knowledge Graphs [12.787160626087744]
  本稿では,大規模言語モデルとERCP(Embodied Robotic Control Prompts)とEKG(Embodied Knowledge Graphs)との新たな統合を提案する。 ERCPは、LLMが安全かつ正確な応答を生成するための事前定義された命令として設計されている。 EKGは、ロボットの動作が安全プロトコルと継続的に一致していることを保証する包括的な知識基盤を提供する。
  論文  参考訳（メタデータ） (2024-05-28T05:50:25Z)
• Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
  本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot Agents [25.62431723307089]
  線形時間論理(LTL)に基づく問合せ型安全制約モジュールを提案する。 我々のシステムは、安全上の制約を厳格に遵守し、複雑な安全上の制約とうまく対応し、実用性の可能性を強調します。
  論文  参考訳（メタデータ） (2023-09-18T16:33:30Z)
• Reinforcement Learning for Safe Robot Control using Control Lyapunov Barrier Functions [9.690491406456307]
  強化学習(RL)は、ロボットの複雑な制御タスクを管理する際の優れた性能を示す。 本稿では、データのみに基づいて安全性と到達可能性を分析するために、制御型リアプノフバリア関数(CLBF)について検討する。 また、Lyapunov barrier actor-critic (LBAC) を提案し、データに基づく安全性と到達性条件の近似を満足するコントローラを探索した。
  論文  参考訳（メタデータ） (2023-05-16T20:27:02Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach [2.741266294612776]
  安全運転の最大確率を学習するモデルフリー安全仕様法を提案する。 提案手法は, 各政策改善段階を抑制するための安全な政策に関して, リャプノフ関数を構築する。 安全集合と呼ばれる安全な操作範囲を決定する一連の安全なポリシーを導出する。
  論文  参考訳（メタデータ） (2020-02-24T09:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。