論文の概要: Safety Not Found (404): Hidden Risks of LLM-Based Robotics Decision Making

• arxiv url: http://arxiv.org/abs/2601.05529v2
• Date: Thu, 15 Jan 2026 05:09:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 13:33:41.23454
• Title: Safety Not Found (404): Hidden Risks of LLM-Based Robotics Decision Making
• Title（参考訳）: 安全は見つからない(404年):LLMによるロボット意思決定の隠れたリスク
• Authors: Jua Han, Jaeyoon Seo, Jungbin Min, Jean Oh, Jihie Kim,
• Abstract要約: 安全クリティカルな環境でのAIシステムによる1つの間違いは、命がかかる可能性がある。 大きな言語モデル(LLM)がロボットの意思決定に不可欠なものになると、リスクの物理的次元が大きくなる。 本稿では,軽微な誤りであっても破滅的なシナリオにおいて,LCMの性能を体系的に評価する緊急的必要性について論じる。
• 参考スコア（独自算出の注目度）: 12.400383981686801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One mistake by an AI system in a safety-critical setting can cost lives. As Large Language Models (LLMs) become integral to robotics decision-making, the physical dimension of risk grows; a single wrong instruction can directly endanger human safety. This paper addresses the urgent need to systematically evaluate LLM performance in scenarios where even minor errors are catastrophic. Through a qualitative evaluation of a fire evacuation scenario, we identified critical failure cases in LLM-based decision-making. Based on these, we designed seven tasks for quantitative assessment, categorized into: Complete Information, Incomplete Information, and Safety-Oriented Spatial Reasoning (SOSR). Complete information tasks utilize ASCII maps to minimize interpretation ambiguity and isolate spatial reasoning from visual processing. Incomplete information tasks require models to infer missing context, testing for spatial continuity versus hallucinations. SOSR tasks use natural language to evaluate safe decision-making in life-threatening contexts. We benchmark various LLMs and Vision-Language Models (VLMs) across these tasks. Beyond aggregate performance, we analyze the implications of a 1% failure rate, highlighting how "rare" errors escalate into catastrophic outcomes. Results reveal serious vulnerabilities: several models achieved a 0% success rate in ASCII navigation, while in a simulated fire drill, models instructed robots to move toward hazardous areas instead of emergency exits. Our findings lead to a sobering conclusion: current LLMs are not ready for direct deployment in safety-critical systems. A 99% accuracy rate is dangerously misleading in robotics, as it implies one out of every hundred executions could result in catastrophic harm. We demonstrate that even state-of-the-art models cannot guarantee safety, and absolute reliance on them creates unacceptable risks.
• Abstract（参考訳）: 安全クリティカルな環境でのAIシステムによる1つの間違いは、命がかかる可能性がある。 大きな言語モデル(LLMs)がロボットの意思決定に不可欠なものになると、リスクの物理的次元が増大する。 本稿では,軽微な誤りであっても破滅的なシナリオにおいて,LCMの性能を体系的に評価する緊急的必要性について論じる。 火災避難シナリオの質的評価を通じて, LLMに基づく意思決定における重大な故障事例を特定した。 そこで我々は, 完全情報, 不完全情報, 安全指向空間推論 (SOSR) の7つの課題を定量的評価のために設計した。 完全情報タスクは、解釈の曖昧さを最小限に抑え、視覚処理から空間的推論を分離するためにASCIIマップを利用する。 不完全な情報タスクは、空間的連続性と幻覚に対するテストにおいて、欠落したコンテキストを推測するモデルを必要とする。 SOSRタスクは自然言語を用いて、生命を脅かす文脈における安全な意思決定を評価する。 これらのタスク間で様々なLLMとVLM(Vision-Language Model)をベンチマークする。 総合的なパフォーマンスに加えて、1%の失敗率の影響を分析し、"まれ"なエラーが破滅的な結果にどのようにエスカレートするかを強調します。 いくつかのモデルがASCIIナビゲーションで0%の成功率を達成した一方で、模擬射撃訓練では、ロボットに緊急出口ではなく危険地域に向かうように指示した。 現在のLLMは、安全クリティカルなシステムに直接デプロイする準備ができていません。 ロボット工学では、100件の処刑のうち1件が破滅的な被害をもたらす可能性があるため、99%の精度が危険なほど誤解を招く。 我々は、最先端モデルでさえ安全性を保証できず、それらへの絶対依存が許容できないリスクを生じさせることを示した。

関連論文リスト

• AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
  本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。 SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。 我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
  論文  参考訳（メタデータ） (2025-06-17T16:37:35Z)
• Better Safe Than Sorry? Overreaction Problem of Vision Language Models in Visual Emergency Recognition [12.054081112688074]
  VLM(Vision-Language Models)は、視覚的コンテンツを解釈する能力を示しているが、安全クリティカルなシナリオにおける信頼性はまだ十分に調査されていない。 本稿では,200枚の合成画像(100対)と50枚の実世界の画像(25対)からなる診断ベンチマークVERIを紹介する。 各緊急シーンは、人間の検証によって視覚的に似ているが安全なものとペアリングされる。
  論文  参考訳（メタデータ） (2025-05-21T10:57:40Z)
• BadRobot: Jailbreaking Embodied LLMs in the Physical World [20.96351292684658]
  Embodied AIは、AIが物理的エンティティに統合されるシステムを表す。 大きな言語モデル(LLM)は強力な言語理解能力を示す。 我々は,従来の音声ベースのユーザシステムインタラクションを通じて,LLMを安全性や倫理的制約に違反させることを目的とした,新たな攻撃パラダイムであるBadRobotを紹介した。
  論文  参考訳（メタデータ） (2024-07-16T13:13:16Z)
• LLM-Driven Robots Risk Enacting Discrimination, Violence, and Unlawful Actions [3.1247504290622214]
  研究は、大規模言語モデルが現実世界のロボット実験や応用において差別的な結果や安全でない行動をもたらす可能性を懸念している。 高い評価を受けたLLMの識別基準と安全性基準のHRIに基づく評価を行う。 結果から, 組織的, 定期的, 包括的リスクアセスメントと, 成果改善のための保証の必要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2024-06-13T05:31:49Z)
• On the Vulnerability of LLM/VLM-Controlled Robotics [54.57914943017522]
  大規模言語モデル(LLM)と視覚言語モデル(VLM)を統合するロボットシステムの脆弱性を,入力モダリティの感度によって強調する。 LLM/VLM制御型2つのロボットシステムにおいて,単純な入力摂動がタスク実行の成功率を22.2%,14.6%減少させることを示す。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。