論文の概要: MANIGUARD: A Benchmark and Data Suite for Specification-Grounded Safety Evaluation and Improvement of Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2608.17386v1
- Date: Tue, 18 Aug 2026 05:27:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.224993
- Title: MANIGUARD: A Benchmark and Data Suite for Specification-Grounded Safety Evaluation and Improvement of Robotic Manipulation
- Title（参考訳）: MANIGUARD:ロボットマニピュレーションの安全性評価と改善のためのベンチマークとデータスイート
- Abstract要約: ManiGuardは、基礎モデル操作の安全性を評価し改善するためのフレームワークである。
ManiGuard-Benchは6つのコンタクトリッチホームタスクファミリーを200のロックされたベースタスクに編成している。
ManiGuard-Benchは自動的なモーションプランニングジェネレータと人間の遠隔操作を組み合わせ、同じステップ毎のモニターでアノテートする。
- 参考スコア（独自算出の注目度）: 25.45812606434053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation-model policies for robotic manipulation are advancing rapidly on task success, but rigorous evaluation of whether they succeed safely is still lacking. We introduce ManiGuard, a specification-grounded framework for evaluating and improving the safety of foundation-model manipulation, comprising the ManiGuard-Bench task suite and a paired safety-annotated trajectory-generation pipeline. ManiGuard-Bench organizes six contact-rich household task families into 200 locked base tasks along a skill $\times$ constraint taxonomy, with safety specified independently of task success. Each task is evaluated under one in-distribution and four single-axis out-of-distribution perturbations that hold the safety specification fixed, giving 1,000 locked scenarios. Every rollout is runtime-checked by LTL$_f$-grounded automaton monitors over physics-grounded predicates rather than learned classifiers or LLM judges, in simulation and on a physical Franka platform. The pipeline pairs an automated motion-planning generator with human teleoperation, annotated by the same per-step monitor, and directly supports safety-aware fine-tuning; we release 8,000 safety-annotated demonstrations, 40 per base task. Benchmarking zero-shot and fine-tuned VLAs across more than 23,000 rollouts, we find: (i) safety must be evaluated independently of task success, as 6-21% of successful rollouts violate the specification; (ii) fine-tuning on our suite raises safe task completion from near zero to 7.5-29.8% and engaged-and-safe behavior from 16-40% to 51-72%; but (iii) a gap remains that scaling demonstrations does not close, with 21-42% of engaged rollouts still violating, two of six families below 2% safe success for every policy, and these failures persisting under distribution shift and on hardware.
- Abstract（参考訳）: ロボット操作のための基礎モデルポリシは、タスクの成功に対して急速に進んでいるが、それらが安全に成功するかどうかの厳密な評価はいまだに不足している。
ManiGuardは,ManiGuard-Benchタスクスイートとペア型安全付加軌道生成パイプラインからなる,基礎モデル操作の安全性の評価と改善のための仕様基盤フレームワークである。
ManiGuard-Benchは、6つの接触に富む家庭のタスクファミリーを200のロックされたベースタスクに編成し、スキル$\times$ 制約分類をし、タスクの成功とは無関係に安全性を規定している。
各タスクは1つの分散分布と4つの単一軸のアウト・オブ・ディストリビューションの摂動に基づいて評価され、安全仕様を固定し、1000のロックされたシナリオが与えられる。
各ロールアウトはLTL$_f$-grounded Automaticon Monitorによって実行時チェックされる。
パイプラインは、人間の遠隔操作と自動動作計画ジェネレータを組み合わせ、同じステップ毎のモニターでアノテートし、安全を意識した微調整を直接サポートします。
23,000以上のロールアウトでゼロショットと微調整のVLAをベンチマークすると、以下のことが分かる。
(i) 成功したロールアウトの6-21%が仕様に違反しているため、安全はタスクの成功とは独立して評価されなければならない。
(ii)作業スイートの微調整により,安全タスク完了度は0～7.5～29.8%に向上し,エンゲージメント・アンド・セーフ行動は16～40%から51～72%に向上するが,
3) スケールデモが終了せず、21～42%の参加ロールアウトが未だに違反しており、すべてのポリシに対して2%以下で安全な成功をおさめている6家族のうち2家族が、分散シフトやハードウェア上の障害を継続している、というギャップが残っている。
関連論文リスト
- SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies [61.941546372624686]
既存のプロトコルはタスクのセマンティクスを廃止し、手作りの報酬と制御が検証したものから逸脱する振る舞いを残している。
本稿では,SUN (Semantically UNified Programs) を導入し,幾何関係と接触関係が一度定義され,整列したモデル予測制御にコンパイルされる型付き実行プログラムについて述べる。
我々のシステムであるKuafuは、言語やシーンのセマンティクスからSUNプログラムを自動で合成し、MPCによる画面表示を実現し、ステージ条件付きポリシーのトレーニング中にセマンティクスを保持する。
論文 参考訳（メタデータ） (2026-08-31T17:59:16Z) - StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。
StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。
AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
論文 参考訳（メタデータ） (2026-08-25T16:17:27Z) - HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety [45.163264704448125]
エージェントの安全性を6つの運用フェーズにまとめるライフサイクル指向ベンチマークを提案する。
実用性, 攻撃成功率, 永続性, 検出性を用いて各軌道の評価を行った。
明示的なリスク認識は、90%以上の実行中のリスクを検出する構成であるため、安全行動に確実に結びつくものではないことが分かっています。
論文 参考訳（メタデータ） (2026-08-18T10:03:58Z) - SafeVLA-Bench: A Benchmark for the Success-Safety Gap in Vision-Language-Action Models [5.9288463407781995]
ビジョン言語アクション(VLA)ベンチマークは、ポリシーが要求された操作タスクを完了するかどうかを測定する。
本稿では,既存のシミュレータベースのVLAベンチマークの安全性評価フレームワークであるSafeVLA-Benchを紹介する。
論文 参考訳（メタデータ） (2026-05-30T15:31:57Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces [17.202580606345666]
生産性タスクを自動化するために、大規模言語モデル(LLM)エージェントがますますデプロイされる。
既存のベンチマークは単純化された環境に依存しており、現実的なマルチサービス環境をキャプチャできない。
我々は,現実的な生産性設定におけるLCMエージェントの評価と改善のためのベンチマークであるClawsBenchを紹介する。
論文 参考訳（メタデータ） (2026-04-06T21:09:06Z) - The Verifier Tax: Horizon Dependent Safety Success Tradeoffs in Tool Using LLM Agents [1.3299507495084417]
本研究では, 大規模言語モデル (LLM) エージェントを用いた多段階ツールにおいて, 実行時の安全でない動作に対する強制が, エンドツーエンドのタスクパフォーマンスに与える影響について検討する。
モデル依存相互作用の地平線(15～30ターン)を特定し、その結果を総合成功率(SR)、安全な成功率(SSR)、安全でない成功率(USR)に分解する。
論文 参考訳（メタデータ） (2026-03-18T16:16:34Z) - Post-Training Local LLM Agents for Linux Privilege Escalation with Verifiable Rewards [2.631069233394708]
LLMエージェントは、脆弱性発見のような研究領域にますます関係している。
しかし、最強のシステムは依然としてクローズドでクラウドのみであり、リソース集約的で再現が難しく、プロプライエタリなコードや機密データに関わる作業には適さない。
本稿では,厳格な資源予算の下でセキュリティタスクを実行できる,小規模でローカルなモデルを開発するための2段階のポストトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:52:54Z) - SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。
既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。
4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
論文 参考訳（メタデータ） (2025-10-08T10:39:12Z) - Pro2Guard: Proactive Runtime Enforcement of LLM Agent Safety via Probabilistic Model Checking [8.970702398918924]
大規模言語モデル(LLM)エージェントは、ロボット工学、仮想アシスタント、Webオートメーションといった分野にまたがる強力な自律能力を示す。
AgentSpecのような既存のルールベースの執行システムは、リアクティブな安全ルールの開発に重点を置いている。
本稿では,確率的到達可能性解析に基づくプロアクティブ実行時実行フレームワークPro2Guardを提案する。
論文 参考訳（メタデータ） (2025-08-01T10:24:47Z) - SafeWork-R1: Coevolving Safety and Intelligence under the AI-45$^{\circ}$ Law [91.33824439029533]
我々は,機能と安全性の共進化を示す最先端のマルチモーダル推論モデルであるSafeWork-R1を紹介する。
大規模でプログレッシブで安全指向の強化学習をポストトレーニングに取り入れたSafeLadderフレームワークを開発した。
さらに,SafeWork-R1-InternVL3-78B,SafeWork-R1-DeepSeek-70B,SafeWork-R1-Qwen2.5VL-7Bを開発した。
論文 参考訳（メタデータ） (2025-07-24T16:49:19Z) - A Framework for Benchmarking and Aligning Task-Planning Safety in LLM-Based Embodied Agents [13.225168384790257]
大規模言語モデル(LLM)は、エンボディエージェント内のタスク計画能力を向上する上で大きな可能性を秘めている。
我々は, LLMをベースとしたエンボディエージェントの挙動を, セーフプランベンチとアライメントのための統合フレームワークであるSafe-BeAlを提案する。
我々の経験的分析によると、敵対的な入力や悪意がなくても、LSMベースのエージェントは安全でない行動を示すことができる。
論文 参考訳（メタデータ） (2025-04-20T15:12:14Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。