論文の概要: Modular Safety Guardrails Are Necessary for Foundation-Model-Enabled Robots in the Real World
- arxiv url: http://arxiv.org/abs/2602.04056v1
- Date: Tue, 03 Feb 2026 22:41:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:41.152215
- Title: Modular Safety Guardrails Are Necessary for Foundation-Model-Enabled Robots in the Real World
- Title（参考訳）: ファンデーションモデルで実現可能なロボットには、モジュール式安全ガードレールが必要
- Authors: Joonkyung Kim, Wenxi Chen, Davood Soleymanzadeh, Yi Ding, Xiangbo Gao, Zhengzhong Tu, Ruqi Zhang, Fan Fei, Sushant Veer, Yiwei Lyu, Minghui Zheng, Yan Gu,
- Abstract要約: 静的検証、モノリシックコントローラ、エンドツーエンドの学習ポリシーを含む既存のアプローチは、タスク、環境、人間の期待がオープンで、長い目で見たり、時間の経過とともに適応されるような環境では不十分である、と我々は主張する。
自律スタック全体にわたる包括的安全のためのアーキテクチャ基盤として,監視(評価)層と介入層からなるモジュール型安全ガードレールを提案する。
- 参考スコア（独自算出の注目度）: 42.7330476721001
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The integration of foundation models (FMs) into robotics has accelerated real-world deployment, while introducing new safety challenges arising from open-ended semantic reasoning and embodied physical action. These challenges require safety notions beyond physical constraint satisfaction. In this paper, we characterize FM-enabled robot safety along three dimensions: action safety (physical feasibility and constraint compliance), decision safety (semantic and contextual appropriateness), and human-centered safety (conformance to human intent, norms, and expectations). We argue that existing approaches, including static verification, monolithic controllers, and end-to-end learned policies, are insufficient in settings where tasks, environments, and human expectations are open-ended, long-tailed, and subject to adaptation over time. To address this gap, we propose modular safety guardrails, consisting of monitoring (evaluation) and intervention layers, as an architectural foundation for comprehensive safety across the autonomy stack. Beyond modularity, we highlight possible cross-layer co-design opportunities through representation alignment and conservatism allocation to enable faster, less conservative, and more effective safety enforcement. We call on the community to explore richer guardrail modules and principled co-design strategies to advance safe real-world physical AI deployment.
- Abstract（参考訳）: ファウンデーションモデル(FM)をロボット工学に統合することで、現実の展開が加速し、オープンエンドなセマンティック推論と具体化された物理的なアクションから生じる新たな安全性の課題がもたらされた。
これらの課題は、物理的な制約満足度を超えた安全性の概念を必要とする。
本稿では,FM対応ロボットの安全性を,行動安全(身体的実現可能性と制約コンプライアンス),意思決定安全(意味的・文脈的適切性),人間中心安全(人間の意図,規範,期待に適合する)の3つの側面に沿って特徴付ける。
静的検証、モノリシックコントローラ、エンドツーエンドの学習ポリシーを含む既存のアプローチは、タスク、環境、人間の期待がオープンで、長い目で見たり、時間の経過とともに適応されるような環境では不十分である、と我々は主張する。
このギャップに対処するため,我々は,自律スタック全体にわたる包括的安全のためのアーキテクチャ基盤として,監視(評価)層と介入層からなるモジュール型安全ガードレールを提案する。
モジュール性以外にも、より速く、より保守的で、より効果的な安全対策を可能にするために、表現アライメントと保守的なアロケーションを通じて、クロスレイヤの共同設計の機会を強調します。
私たちはコミュニティに、よりリッチなガードレールモジュールを探り、安全な現実世界の物理的なAIデプロイメントを進めるための設計戦略を原則として求めています。
関連論文リスト
- BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。
BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
論文 参考訳（メタデータ） (2026-02-23T18:19:46Z) - Safe-SDL:Establishing Safety Boundaries and Control Mechanisms for AI-Driven Self-Driving Laboratories [18.300558114535992]
自動運転研究所(SDL)は、自律的な仮説生成、実験、分析が可能な閉ループ実験システムを作成する。
本稿では,ロバストな安全境界と制御機構を確立するための包括的フレームワークであるSafe-SDLを提案する。
論文 参考訳（メタデータ） (2026-02-13T12:42:48Z) - PoSafeNet: Safe Learning with Poset-Structured Neural Nets [49.854863600271614]
既存のアプローチは、しばしば複数の安全制約を均一に、または固定された優先命令によって強制し、実現不可能と不安定な振る舞いを引き起こす。
我々は、この設定を擬似構造的安全性として定式化し、安全制約を部分的に順序づけられた集合としてモデル化し、安全構成を政策クラスの構造的特性として扱う。
この定式化に基づいて、逐次クローズドフォームプロジェクションを介して安全性を強制する、識別可能な神経安全層であるPoSafeNetを提案する。
論文 参考訳（メタデータ） (2026-01-29T22:03:32Z) - UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。
安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。
この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
論文 参考訳（メタデータ） (2025-10-02T16:43:33Z) - Towards provable probabilistic safety for scalable embodied AI systems [79.31011047593492]
エンボディードAIシステムは、様々なアプリケーションでますます普及している。
複雑な運用環境での安全性確保は依然として大きな課題である。
このパースペクティブは、安全で大規模に実施されたAIシステムを安全クリティカルなアプリケーションに採用するための道筋を提供する。
論文 参考訳（メタデータ） (2025-06-05T15:46:25Z) - SafeCast: Risk-Responsive Motion Forecasting for Autonomous Vehicles [12.607007386467329]
リスク応答型モーション予測モデルであるSafeCastを提案する。
安全を意識した意思決定と不確実性を意識した適応性を統合する。
我々のモデルは、軽量なアーキテクチャと低推論レイテンシを維持しながら、最先端(SOTA)の精度を実現する。
論文 参考訳（メタデータ） (2025-03-28T15:38:21Z) - Soft Actor-Critic-based Control Barrier Adaptation for Robust Autonomous Navigation in Unknown Environments [4.788163807490197]
制御バリア関数(CBF)の制約パラメータを実行時に適用するためのソフトアクタ・クリティカル(SAC)ベースのポリシーを提案する。
我々は,本フレームワークがCBF制約を効果的に適用し,ロボットが安全性を損なうことなく最終目標に達することを実証した。
論文 参考訳（メタデータ） (2025-03-11T14:33:55Z) - Graphormer-Guided Task Planning: Beyond Static Rules with LLM Safety Perception [4.424170214926035]
本稿では,大規模言語モデルと構造化安全モデリングを組み合わせたリスク対応タスク計画フレームワークを提案する。
提案手法は,空間的および文脈的危険因子を抽出し,動的セマンティック安全グラフを構築する。
既定の安全性制約に依存する既存の手法とは異なり、我々のフレームワークはコンテキスト認識型リスク認識モジュールを導入している。
論文 参考訳（メタデータ） (2025-03-10T02:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。