論文の概要: Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis
- arxiv url: http://arxiv.org/abs/2503.03911v1
- Date: Wed, 05 Mar 2025 21:23:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-07 17:59:00.589371
- Title: Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis
- Title（参考訳）: 整合性解析によるホルマルガード付き安全LLM制御ロボット
- Authors: Ahmad Hafez, Alireza Naderi Akhormeh, Amr Hegazy, Amr Alanwar,
- Abstract要約: 本稿では,Large Language Models (LLM) 制御ロボットを対象とした,データ駆動型リーチビリティ解析に基づく安全保証フレームワークを提案する。
我々のアプローチは、明示的な分析モデルに頼ることなく、安全でない行動に対する厳密な安全保証を提供する。
- 参考スコア（独自算出の注目度）: 0.6749750044497732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The deployment of Large Language Models (LLMs) in robotic systems presents unique safety challenges, particularly in unpredictable environments. Although LLMs, leveraging zero-shot learning, enhance human-robot interaction and decision-making capabilities, their inherent probabilistic nature and lack of formal guarantees raise significant concerns for safety-critical applications. Traditional model-based verification approaches often rely on precise system models, which are difficult to obtain for real-world robotic systems and may not be fully trusted due to modeling inaccuracies, unmodeled dynamics, or environmental uncertainties. To address these challenges, this paper introduces a safety assurance framework for LLM-controlled robots based on data-driven reachability analysis, a formal verification technique that ensures all possible system trajectories remain within safe operational limits. Our framework specifically investigates the problem of instructing an LLM to navigate the robot to a specified goal and assesses its ability to generate low-level control actions that successfully guide the robot safely toward that goal. By leveraging historical data to construct reachable sets of states for the robot-LLM system, our approach provides rigorous safety guarantees against unsafe behaviors without relying on explicit analytical models. We validate the framework through experimental case studies in autonomous navigation and task planning, demonstrating its effectiveness in mitigating risks associated with LLM-generated commands. This work advances the integration of formal methods into LLM-based robotics, offering a principled and practical approach to ensuring safety in next-generation autonomous systems.
- Abstract（参考訳）: ロボットシステムにおけるLarge Language Models (LLM) の展開は、特に予測不可能な環境において、ユニークな安全性上の課題を示す。
LLMはゼロショット学習を活用し、人間とロボットの相互作用と意思決定能力を高めるが、その固有の確率的性質と形式的保証の欠如は、安全クリティカルなアプリケーションに重大な懸念をもたらす。
従来のモデルベースの検証アプローチは、しばしば正確なシステムモデルに依存しており、実際のロボットシステムでは入手が困難であり、不正確なモデリング、非モデル力学、環境の不確実性のために完全に信頼できない場合がある。
これらの課題に対処するために,データ駆動型リーチビリティ解析に基づくLLM制御ロボットの安全保証フレームワークを提案する。
本フレームワークは,ロボットを目標に向かって誘導する低レベル制御動作を生成する能力を評価するとともに,ロボットを目標に向かって安全に誘導する能力を評価する。
ロボットLLMシステムのための到達可能な状態セットを構築するために歴史的データを活用することにより、明示的な分析モデルに頼ることなく、安全でない行動に対する厳密な安全保証を提供する。
自律ナビゲーションとタスクプランニングの実験ケーススタディを通じて,LLM生成コマンドによるリスク軽減効果を実証し,その妥当性を検証した。
この研究は、LLMベースのロボティクスへのフォーマルな手法の統合を推進し、次世代の自律システムにおける安全性を確保するための原則的で実践的なアプローチを提供する。
関連論文リスト
- Designing Control Barrier Function via Probabilistic Enumeration for Safe Reinforcement Learning Navigation [55.02966123945644]
本稿では,ニューラルネットワーク検証技術を利用して制御障壁関数(CBF)とポリシー修正機構の設計を行う階層型制御フレームワークを提案する。
提案手法は,安全なCBFベースの制御層を構築するために使用される,安全でない操作領域を特定するための確率的列挙に依存する。
これらの実験は、効率的なナビゲーション動作を維持しながら、安全でない動作を補正する提案手法の能力を実証するものである。
論文 参考訳（メタデータ） (2025-04-30T13:47:25Z) - Graphormer-Guided Task Planning: Beyond Static Rules with LLM Safety Perception [4.424170214926035]
本稿では,大規模言語モデルと構造化安全モデリングを組み合わせたリスク対応タスク計画フレームワークを提案する。
提案手法は,空間的および文脈的危険因子を抽出し,動的セマンティック安全グラフを構築する。
既定の安全性制約に依存する既存の手法とは異なり、我々のフレームワークはコンテキスト認識型リスク認識モジュールを導入している。
論文 参考訳（メタデータ） (2025-03-10T02:43:54Z) - Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [68.36528819227641]
本稿では,VLAに基づくロボットシステムのロバスト性を体系的に評価する。
本研究では,ロボット行動の不安定化に空間的基盤を活用する2つの未目標攻撃目標と,ロボット軌道を操作する目標攻撃目標を導入する。
我々は、カメラの視野に小さなカラフルなパッチを配置し、デジタルと物理の両方の環境で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
論文 参考訳（メタデータ） (2024-11-18T01:52:20Z) - ABNet: Attention BarrierNet for Safe and Scalable Robot Learning [58.4951884593569]
バリアベースの手法は、安全なロボット学習における主要なアプローチの1つである。
本稿では,より大規模な基本安全モデルを段階的に構築するスケーラブルなAttention BarrierNet(ABNet)を提案する。
2次元ロボット障害物回避、安全なロボット操作、視覚に基づくエンドツーエンド自動運転におけるABNetの強みを実証する。
論文 参考訳（メタデータ） (2024-06-18T19:37:44Z) - Safety Control of Service Robots with LLMs and Embodied Knowledge Graphs [12.787160626087744]
本稿では,大規模言語モデルとERCP(Embodied Robotic Control Prompts)とEKG(Embodied Knowledge Graphs)との新たな統合を提案する。
ERCPは、LLMが安全かつ正確な応答を生成するための事前定義された命令として設計されている。
EKGは、ロボットの動作が安全プロトコルと継続的に一致していることを保証する包括的な知識基盤を提供する。
論文 参考訳（メタデータ） (2024-05-28T05:50:25Z) - Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
論文 参考訳（メタデータ） (2024-02-15T22:01:45Z) - Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。
LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。
適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文 参考訳（メタデータ） (2023-11-28T03:13:09Z) - Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot
Agents [25.62431723307089]
線形時間論理(LTL)に基づく問合せ型安全制約モジュールを提案する。
我々のシステムは、安全上の制約を厳格に遵守し、複雑な安全上の制約とうまく対応し、実用性の可能性を強調します。
論文 参考訳（メタデータ） (2023-09-18T16:33:30Z) - Reinforcement Learning for Safe Robot Control using Control Lyapunov
Barrier Functions [9.690491406456307]
強化学習(RL)は、ロボットの複雑な制御タスクを管理する際の優れた性能を示す。
本稿では、データのみに基づいて安全性と到達可能性を分析するために、制御型リアプノフバリア関数(CLBF)について検討する。
また、Lyapunov barrier actor-critic (LBAC) を提案し、データに基づく安全性と到達性条件の近似を満足するコントローラを探索した。
論文 参考訳（メタデータ） (2023-05-16T20:27:02Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Safe reinforcement learning for probabilistic reachability and safety
specifications: A Lyapunov-based approach [2.741266294612776]
安全運転の最大確率を学習するモデルフリー安全仕様法を提案する。
提案手法は, 各政策改善段階を抑制するための安全な政策に関して, リャプノフ関数を構築する。
安全集合と呼ばれる安全な操作範囲を決定する一連の安全なポリシーを導出する。
論文 参考訳（メタデータ） (2020-02-24T09:20:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。