論文の概要: EAST: Embodied AI Safety Testing via Systematic Fault Injection in Digital Twins
- arxiv url: http://arxiv.org/abs/2610.34358v1
- Date: Sun, 25 Oct 2026 15:10:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.583677
- Title: EAST: Embodied AI Safety Testing via Systematic Fault Injection in Digital Twins
- Title（参考訳）: EAST: デジタル双生児のシステム障害注入による身体的AI安全性テスト
- Abstract要約: EAST(Embodied AI Safety Testing)は,文献による安全証拠を欠陥注入テストに変換するデジタルツインフレームワークである。
我々は6つのRoboTwin操作タスクと2つのポリシーアーキテクチャ、ACTとRTTのEASTを、一致した予算下での代替テスト戦略に対して評価する。
- 参考スコア（独自算出の注目度）: 18.106250644277086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task success is not a sufficient measure of safety for embodied artificial intelligence (AI), because robots may complete objectives while violating safety requirements. Existing evaluations often emphasize performance and robustness, but lack a systematic route from documented safety hazards to executable, verifiable tests. We present EAST (Embodied AI Safety Testing), a digital-twin framework that converts literature-grounded safety evidence into fault-injection tests across perception, instructions, environments, actions, and timing. EAST combines an expert-reviewed safety-fault taxonomy and eight executable operators with applicability and validity constraints. Its three-stage workflow generates test specifications, verifies fault realization during simulated execution, and independently assesses safety challenges, violations, task outcomes, and behavioral signatures using simulator-state evidence. The framework preserves execution traces and replayable records, supporting attribution and reproducibility across experiments. We evaluate EAST on six RoboTwin manipulation tasks and two policy architectures, ACT and RDT, against alternative testing strategies under matched budgets. Across five comparative campaigns, EAST targets all 74 admissible task-policy-operator combinations and obtains valid evidence for 63, while achieving safety-challenge exposure rates close to Random-Legal and Rule-Based. Moreover, 82 valid EAST executions complete their tasks despite safety violations, revealing risks concealed by success-oriented evaluation. These findings support systematic, validity-aware, reproducible safety testing beyond task-completion metrics.
- Abstract（参考訳）: 作業の成功は、ロボットが安全要件に違反しながら目的を達成できるため、実施された人工知能(AI)の安全性の十分な尺度ではない。
既存の評価は、しばしば性能と堅牢性を強調するが、文書化された安全性の危険から実行可能で検証可能なテストへの体系的な経路が欠如している。
EAST(Embodied AI Safety Testing)は、文学的根拠に基づく安全証拠を、認識、指示、環境、行動、タイミングを越えて欠陥注入テストに変換するデジタルツインフレームワークである。
EASTは専門家がレビューした安全基準分類と、適用性と妥当性の制約のある8つの実行可能なオペレータを組み合わせる。
その3段階のワークフローは、テスト仕様を生成し、シミュレートされた実行中の障害実現を検証し、シミュレータ状態のエビデンスを使用して、安全性の課題、違反、タスク結果、行動シグネチャを独立して評価する。
このフレームワークは、実行トレースと再生可能なレコードを保持し、実験間での属性と再現性をサポートする。
我々は6つのRoboTwin操作タスクと2つのポリシーアーキテクチャ、ACTとRTTのEASTを、一致した予算下での代替テスト戦略に対して評価する。
5つの比較キャンペーンにおいて、EASTは74の許容可能なタスク・ポリティクス・オペレーショナルの組み合わせを全て対象とし、ランサム・レガルとルールベースに近い安全性・カオスの露出率を達成しつつ、63の有効な証拠を取得する。
さらに、安全違反にもかかわらず82件のEAST実行がタスクを完了し、成功志向の評価によって隠蔽されるリスクを明らかにした。
これらの知見は、タスク・コンプリート・メトリクスを超えて、系統的、妥当性に配慮し、再現可能な安全性テストを支援する。
関連論文リスト
- V$^3$AST-Bench: Verifiable, Valid, and Versatile Safety Evaluation for Coding Agents [22.833790946734307]
大規模な言語モデルは、コード、リポジトリの変更、プログラムの実行、エージェント形式のサービスとのインタラクションを通じて、ますます機能します。
安全性評価は、実際の結果を確認し、危険回避とタスクの不能を区別し、現実をカバーしなければなりません。
V$3$AST-Bench, 検証結果のベンチマーク, 検証解釈, エージェントセーフティの検証リスクカバレッジについて紹介する。
論文 参考訳（メタデータ） (2026-10-26T10:44:18Z) - SCOUT: Synergizing Reasoning and Tool-Use for Computer-Use Safety [15.044790213451774]
SCOUTは2段階のエージェント安全性検証器で、推論集約型ルーリック生成とツール集約型エビデンス収集を相乗化している。
AutoElicit-Benchでは、SCOUTは75.4の安全でないF1と74.5の補完F1を達成する。
論文 参考訳（メタデータ） (2026-09-28T20:01:35Z) - Beyond Task Completion: Training Capable and Safe Computer-Use Agents [6.43574655903064]
コンピュータ利用エージェント(CUA)は、良質なタスクを完了し、環境の危険を回避し、安全な完了パスが残っているときに継続する必要がある。
我々は、タスク実行能力と安全対応意思決定のためのCUAを共同で訓練するSCOPE(Safety and Capability Optimization for Policy Execution)を開発した。
SCOPE-RLはOSWorldで54.17%のタスク成功率、OS-BLINDで64.30%のアタック回避率を達成した。
論文 参考訳（メタデータ） (2026-08-27T05:43:50Z) - SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents [29.05559307748216]
SFERELBENCHは,507個の実測値を持つ空間相関型安全ベンチマークである。
SAFERELBENCHを用いて、7つのオープンソースおよびクローズドソースなVLM駆動型エンボディエージェントの評価を行い、タスク成功とプロセスレベルの安全コンプライアンスの間に大きなギャップを見出した。
論文 参考訳（メタデータ） (2026-07-16T03:59:44Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - COMPASS: Cognitive MCTS-Guided Process Alignment for Safe Search Agents [22.338984431904816]
LLMによる検索エージェントは多段階の推論とツールの使用を可能にする。
既存のアライメント手法は、スパース安全信号の捕捉に苦労し、多段階の相互作用における多様な違反を監視できない。
本稿では,エージェントワークフロー全体にわたって堅牢な安全アライメントを実現するための,コグニティブMCTS型プロセスアライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-29T04:51:06Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。
本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。
本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
論文 参考訳（メタデータ） (2026-02-13T14:57:15Z) - AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。
SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。
我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
論文 参考訳（メタデータ） (2025-06-17T16:37:35Z) - LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [78.99703366417661]
大規模言語モデル(LLM)は、手続き的なガイダンスから自律的な実験オーケストレーションまで、タスクをますます支援している。
このような過度な信頼性は、リスク識別やリスクアセスメントの失敗が重大事故を引き起こす高リスクな実験室環境では特に危険である。
実験室安全ベンチマーク (LabSafety Bench) を提案し, 潜在的な危険を識別し, リスクを評価し, 実験室環境における安全でない行動の結果を予測する。
論文 参考訳（メタデータ） (2024-10-18T05:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。