Fugu-MT 論文翻訳(概要): Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot Agents

論文の概要: Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot Agents

arxiv url: http://arxiv.org/abs/2309.09919v1
Date: Mon, 18 Sep 2023 16:33:30 GMT
ステータス: 処理完了
システム内更新日: 2023-09-19 12:21:04.448983
Title: Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot Agents
Title（参考訳）: 安全チップのプラグ:LLM駆動型ロボットエージェントの制約を強制する
Authors: Ziyi Yang and Shreyas S. Raman and Ankit Shah and Stefanie Tellex
Abstract要約: 線形時間論理(LTL)に基づく問合せ型安全制約モジュールを提案する。我々のシステムは、安全上の制約を厳格に遵守し、複雑な安全上の制約とうまく対応し、実用性の可能性を強調します。
参考スコア（独自算出の注目度）: 25.62431723307089
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advancements in large language models (LLMs) have enabled a new research domain, LLM agents, for solving robotics and planning tasks by leveraging the world knowledge and general reasoning abilities of LLMs obtained during pretraining. However, while considerable effort has been made to teach the robot the "dos," the "don'ts" received relatively less attention. We argue that, for any practical usage, it is as crucial to teach the robot the "don'ts": conveying explicit instructions about prohibited actions, assessing the robot's comprehension of these restrictions, and, most importantly, ensuring compliance. Moreover, verifiable safe operation is essential for deployments that satisfy worldwide standards such as ISO 61508, which defines standards for safely deploying robots in industrial factory environments worldwide. Aiming at deploying the LLM agents in a collaborative environment, we propose a queryable safety constraint module based on linear temporal logic (LTL) that simultaneously enables natural language (NL) to temporal constraints encoding, safety violation reasoning and explaining, and unsafe action pruning. To demonstrate the effectiveness of our system, we conducted experiments in VirtualHome environment and on a real robot. The experimental results show that our system strictly adheres to the safety constraints and scales well with complex safety constraints, highlighting its potential for practical utility.
Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩により、ロボット工学を解くための新しい研究領域であるLLMエージェントが、事前訓練中に得られたLLMの世界の知識と一般的な推論能力を活用して実現されている。しかし、ロボットに"dos"を教えるためにかなりの努力がなされているが、"Don'ts"は比較的あまり注目されなかった。我々は、いかなる実践的利用においても、禁止された行為に関する明確な指示を伝えること、これらの制限に対するロボットの理解を評価すること、そして最も重要なのはコンプライアンスを確保すること、をロボットに教えることが重要であると主張する。さらに、検証可能な安全な運用は、世界中の産業工場環境で安全にロボットを配備するための標準を定義するiso 61508のような世界的な標準を満たす展開には不可欠である。本研究では,LLMエージェントを協調環境に配置することを目的とした,線形時間論理(LTL)に基づくクエリ可能な安全制約モジュールを提案する。本システムの有効性を実証するため,バーチャルホーム環境と実ロボットを用いて実験を行った。実験の結果,本システムは安全制約に厳格に準拠し,複雑な安全制約とともにスケールし,実用性の可能性を強調した。

関連論文リスト

Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [70.93622520400385]
本稿では,VLAに基づくロボットシステムのロバスト性を体系的に評価する。本研究では,ロボット行動の不安定化に空間的基盤を活用する,標的のない位置認識型攻撃目標を提案する。また、カメラの視野内に小さなカラフルなパッチを配置し、デジタル環境と物理環境の両方で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
論文参考訳（メタデータ） (2024-11-18T01:52:20Z)
Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
論文参考訳（メタデータ） (2024-11-04T17:41:25Z)
SafeEmbodAI: a Safety Framework for Mobile Robots in Embodied AI Systems [5.055705635181593]
物理的世界と自律的に対話するAIロボットを含む、身体化されたAIシステムは、かなり進歩している。不適切な安全管理は、複雑な環境で障害を引き起こし、悪意のあるコマンドインジェクションに対してシステムが脆弱になる。我々は,移動ロボットを組込みAIシステムに統合するための安全フレームワークであるtextitSafeEmbodAIを提案する。
論文参考訳（メタデータ） (2024-09-03T05:56:50Z)
Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
論文参考訳（メタデータ） (2024-07-11T17:31:01Z)
ABNet: Attention BarrierNet for Safe and Scalable Robot Learning [58.4951884593569]
バリアベースの手法は、安全なロボット学習における主要なアプローチの1つである。本稿では,より大規模な基本安全モデルを段階的に構築するスケーラブルなAttention BarrierNet(ABNet)を提案する。 2次元ロボット障害物回避、安全なロボット操作、視覚に基づくエンドツーエンド自動運転におけるABNetの強みを実証する。
論文参考訳（メタデータ） (2024-06-18T19:37:44Z)
Safety Control of Service Robots with LLMs and Embodied Knowledge Graphs [12.787160626087744]
本稿では,大規模言語モデルとERCP(Embodied Robotic Control Prompts)とEKG(Embodied Knowledge Graphs)との新たな統合を提案する。 ERCPは、LLMが安全かつ正確な応答を生成するための事前定義された命令として設計されている。 EKGは、ロボットの動作が安全プロトコルと継続的に一致していることを保証する包括的な知識基盤を提供する。
論文参考訳（メタデータ） (2024-05-28T05:50:25Z)
Safe Reinforcement Learning on the Constraint Manifold: Theory and Applications [21.98309272057848]
本稿では,学習に基づくロボットシステムに対して,複雑な安全制約を原則的に課す方法について述べる。我々のアプローチは、安全ロボット構成の集合を表すConstraint Manifoldの概念に基づいている。実世界のロボットエアホッケータスクにおいて,本手法の有効性を実証する。
論文参考訳（メタデータ） (2024-04-13T20:55:15Z)
Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
論文参考訳（メタデータ） (2024-02-15T22:01:45Z)
InCoRo: In-Context Learning for Robotics Control with Feedback Loops [4.702566749969133]
InCoRoは、LLMコントローラ、シーン理解ユニット、ロボットからなる古典的なロボットフィードバックループを使用するシステムである。システムの一般化能力を強調し,InCoRoが成功率において先行技術を上回ることを示す。この研究は、動的環境に適応する信頼性があり、効率的でインテリジェントな自律システムを構築するための道を開いた。
論文参考訳（メタデータ） (2024-02-07T19:01:11Z)
Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文参考訳（メタデータ） (2023-11-28T03:13:09Z)
Safe reinforcement learning of dynamic high-dimensional robotic tasks: navigation, manipulation, interaction [31.553783147007177]
強化学習では、損傷を起こさない環境を探索する上で、安全はより基本的なものである。本稿では,各種ロボット作業の強化学習のための安全探索の新たな定式化について紹介する。我々のアプローチは、幅広い種類のロボットプラットフォームに適用され、データから学んだ複雑な衝突制約の下でも安全を強制する。
論文参考訳（メタデータ） (2022-09-27T11:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。