論文の概要: ARGOS: Automated Functional Safety Requirement Synthesis for Embodied AI via Attribute-Guided Combinatorial Reasoning
- arxiv url: http://arxiv.org/abs/2602.07007v1
- Date: Fri, 30 Jan 2026 05:40:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-30 05:10:37.066025
- Title: ARGOS: Automated Functional Safety Requirement Synthesis for Embodied AI via Attribute-Guided Combinatorial Reasoning
- Title(参考訳): ARGOS:Attribute-Guided Combinatorial Reasoningによる身体的AIのための機能的安全要求自動合成
- Abstract要約: Embodied AIはオープンエンドの自然言語命令で動作し、インタラクションリスクの課題を生み出す。
大規模言語モデル(LLM)は、このスケーラビリティの課題に対する有望な解決策として現れています。
オープンエンドユーザ命令と具体的な物理的属性のギャップを埋める新しいフレームワークARGOSを提案する。
- 参考スコア(独自算出の注目度): 39.198358245470516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensuring functional safety is essential for the deployment of Embodied AI in complex open-world environments. However, traditional Hazard Analysis and Risk Assessment (HARA) methods struggle to scale in this domain. While HARA relies on enumerating risks for finite and pre-defined function lists, Embodied AI operates on open-ended natural language instructions, creating a challenge of combinatorial interaction risks. Whereas Large Language Models (LLMs) have emerged as a promising solution to this scalability challenge, they often lack physical grounding, yielding semantically superficial and incoherent hazard descriptions. To overcome these limitations, we propose a new framework ARGOS (AttRibute-Guided cOmbinatorial reaSoning), which bridges the gap between open-ended user instructions and concrete physical attributes. By dynamically decomposing entities from instructions into these fine-grained properties, ARGOS grounds LLM reasoning in causal risk factors to generate physically plausible hazard scenarios. It then instantiates abstract safety standards, such as ISO 13482, into context-specific Functional Safety Requirements (FSRs) by integrating these scenarios with robot capabilities. Extensive experiments validate that ARGOS produces high-quality FSRs and outperforms baselines in identifying long-tail risks. Overall, this work paves the way for systematic and grounded functional safety requirement generation, a critical step toward the safe industrial deployment of Embodied AI.
- Abstract(参考訳): 複雑なオープンワールド環境におけるEmbodied AIの展開には、機能的安全性の確保が不可欠だ。
しかし、従来のハザード分析とリスクアセスメント(hara)手法は、この領域でのスケールに苦慮している。
haraは、有限かつ事前定義された関数リストのリスクの列挙に頼っているが、Embodied AIはオープンな自然言語命令を運用しており、組合せ的相互作用リスクの課題を生み出している。
大規模言語モデル(LLM)は、このスケーラビリティの課題に対する有望な解決策として現れてきたが、物理的基盤が欠如しており、意味的に表面的で不整合なハザード記述をもたらすことが多い。
これらの制限を克服するために,オープンエンドユーザ命令と具体的な物理的属性のギャップを埋める新しいフレームワークARGOS(AttRibute-Guided cOmbinatorial reaSoning)を提案する。
物質をこれらの微細な性質に動的に分解することにより、ARGOSはLLM推論を因果リスク要因に当てはめ、物理的に妥当なハザードシナリオを生成する。
その後、ISO 13482のような抽象的な安全基準を、これらのシナリオをロボット機能に統合することにより、コンテキスト固有の機能安全要件(FSR)にインスタンス化する。
大規模な実験により、ARGOSは高品質なFSRを生産し、長い尾のリスクを識別するベースラインを上回ることが検証された。
全体として、この研究は、Embodied AIの安全な産業展開に向けた重要なステップである、システマティックで基盤的な機能的安全要件生成の道を開くものだ。
関連論文リスト
- Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。
本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
論文 参考訳(メタデータ) (2026-04-07T08:43:36Z) - The Necessity of a Holistic Safety Evaluation Framework for AI-Based Automation Features [0.0]
運転自動化機能に関する機能的安全性(SOTIF)と機能的安全性(FuSa)の分析は、伝統的に、厳格な安全影響評価から品質管理(QM)コンポーネントを除外してきた。
人工知能(AI)統合の最近の進歩は、そのようなコンポーネントがSOTIF関連の有害リスクに寄与できることを明らかにしている。
本稿では、AIコンポーネントのリスクを特定し軽減するために、包括的FuSa、SOTIF、AI標準駆動手法を採用することを主張する。
論文 参考訳(メタデータ) (2026-02-05T00:22:24Z) - Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。
これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。
この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
論文 参考訳(メタデータ) (2026-01-29T03:53:25Z) - Safe-SAIL: Towards a Fine-grained Safety Landscape of Large Language Models via Sparse Autoencoder Interpretation Framework [31.278770676774325]
大規模言語モデル(LLM)内でのSAE機能を解釈するフレームワークであるSafe-SAILを提案する。
提案手法は,SAEを最も優れた概念特異的解釈可能性で体系的に識別し,安全性関連ニューロンを説明し,解釈プロセスをスケールアップするための効率的な戦略を導入する。
論文 参考訳(メタデータ) (2025-09-11T11:22:43Z) - ANNIE: Be Careful of Your Robots [48.89876809734855]
エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。
すべての安全カテゴリーで攻撃の成功率は50%を超えている。
結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
論文 参考訳(メタデータ) (2025-09-03T15:00:28Z) - AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。
SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。
我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
論文 参考訳(メタデータ) (2025-06-17T16:37:35Z) - A Proposal for Evaluating the Operational Risk for ChatBots based on Large Language Models [39.58317527488534]
3つの主要なステークホルダーに対する潜在的な脅威を同時に評価する新しいリスク評価指標を提案する。
メトリクスを検証するために、脆弱性テスト用のオープンソースのフレームワークであるGarakを活用しています。
その結果、セキュアで信頼性の高いAI駆動会話システムの運用における多次元リスクアセスメントの重要性が浮き彫りになった。
論文 参考訳(メタデータ) (2025-05-07T20:26:45Z) - The BIG Argument for AI Safety Cases [4.0675753909100445]
BIGの議論は、さまざまな能力、自律性、臨界性を持つAIシステムの安全ケースを構築するためのシステム全体のアプローチを採用する。
安全性と、プライバシーや株式といった他の重要な倫理的問題に対処することでバランスがとれる。
安全保証の社会的、倫理的、技術的側面を、追跡可能で説明可能な方法でまとめることによって統合される。
論文 参考訳(メタデータ) (2025-03-12T11:33:28Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳(メタデータ) (2024-08-08T13:19:37Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳(メタデータ) (2024-05-10T17:38:32Z) - Towards Risk Modeling for Collaborative AI [5.941104748966331]
コラボレーティブaiシステムは、共通の目標を達成するために、共有空間で人間と協力することを目指している。
この設定は、人間を傷つける可能性のある接触により、潜在的に危険な状況を引き起こす。
協調型AIシステムに合わせたリスクモデリング手法を紹介します。
論文 参考訳(メタデータ) (2021-03-12T18:53:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。