論文の概要: SafeManip: A Property-Driven Benchmark for Temporal Safety Evaluation in Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2605.12386v1
• Date: Tue, 12 May 2026 16:49:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.029902
• Title: SafeManip: A Property-Driven Benchmark for Temporal Safety Evaluation in Robotic Manipulation
• Title（参考訳）: SafeManip: ロボットマニピュレーションにおける時間的安全評価のためのプロパティ駆動ベンチマーク
• Authors: Chengyue Huang, Khang Vo Huynh, Sebastian Elbaum, Zsolt Kira, Lu Feng,
• Abstract要約: 本稿では,ロボット操作における時間的安全特性を明示的に評価するためのプロパティ駆動型ベンチマークであるSafeManipを紹介する。 SafeManipは、有限トレース上の線形時間論理(LTLf)を用いて、有限実行上の再利用可能な安全テンプレートを定義する。 我々は,50のRoboCasa365家計タスクに対して,$_0.5$,GR00T,およびそれらのトレーニングバリエーションを含む6つの視覚言語アクションポリシーについてSafeManipを評価した。
• 参考スコア（独自算出の注目度）: 30.582295885898997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robotic manipulation is typically evaluated by task success, but successful completion does not guarantee safe execution. Many safety failures are temporal: a robot may touch a clean surface after contamination or release an object before it is fully inside an enclosure. We introduce SafeManip, a property-driven benchmark to explicitly evaluate temporal safety properties in robotic manipulation, moving beyond prior evaluations that largely focus on task completion or per-state constraint violations. SafeManip defines reusable safety templates over finite executions using Linear Temporal Logic over finite traces (LTLf). It maps observed rollouts to symbolic predicate traces and evaluates them with LTLf-based monitors. Its property suite covers eight manipulation safety categories: collision and contact safety, grasp stability, release stability, cross-contamination, action onset, mechanism recovery, object containment, and enclosure access. Templates can be instantiated with task-specific objects, fixtures, regions, or skills, allowing the same safety specifications to generalize across tasks and environments. We evaluate SafeManip on six vision-language-action policies, including $π_0$, $π_{0.5}$, GR00T, and their training variants, across 50 RoboCasa365 household tasks. Results show that even strong models often behave unsafely. Task-success gains do not reliably translate into safer execution: many successful rollouts remain unsafe, while longer-horizon or more complex tasks expose more violations. SafeManip provides a reusable evaluation layer for diagnosing temporal safety failures and measuring safe success beyond task completion.
• Abstract（参考訳）: ロボット操作は一般的にタスクの成功によって評価されるが、成功は安全な実行を保証するものではない。 ロボットは汚染された後、クリーンな表面に触れたり、囲いの中に完全に入り込む前に物体を解放したりする。 我々は,ロボット操作における時間的安全特性を明示的に評価する,プロパティ駆動型ベンチマークであるSafeManipを紹介した。 SafeManipは、有限トレース(LTLf)上の線形時間論理を用いて、有限実行上の再利用可能な安全テンプレートを定義する。 観測されたロールアウトをシンボリックな述語トレースにマッピングし、LTLfベースのモニターで評価する。 プロパティスイートには、衝突と接触の安全性、安定性の把握、リリース安定性、クロス汚染、アクション・オンセット、メカニズム・リカバリ、オブジェクトの封入、囲いのアクセスの8つの操作安全カテゴリが含まれている。 テンプレートはタスク固有のオブジェクト、フィクスチャ、リージョン、スキルでインスタンス化でき、同じ安全仕様をタスクや環境全体にわたって一般化することができる。 我々は,50のRoboCasa365家計タスクに対して,$π_0$,$π_{0.5}$,GR00T,およびそれらのトレーニング変異を含む6つの視覚言語対応政策についてSafeManipを評価した。 結果は、強力なモデルでさえ、しばしば安全でない振る舞いを示す。 多くの成功したロールアウトは安全ではないままであり、長い水平タスクや複雑なタスクはより違反を露呈する。 SafeManipは、時間的安全障害を診断し、タスク完了以上の安全な成功を計測するための再利用可能な評価層を提供する。

関連論文リスト

• SkillSafetyBench: Evaluating Agent Safety under Skill-Facing Attack Surfaces [28.615215165815297]
  SkillSafetyBenchは、スキルを介する安全性障害を評価するためのベンチマークである。 ローカライズされた非ユーザアタックは、常に安全でない振る舞いを誘導できることを示す。 その結果, エージェントの安全性は, モデルレベルのアライメントだけでなく, エージェントがいかにスキルを解釈するかにも依存していることがわかった。
  論文  参考訳（メタデータ） (2026-05-12T12:03:54Z)
• Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems [14.419994656981002]
  我々は、安全でない自然言語タスクコマンドがロボットの実行に到達するのを防ぐ、ニューロシンボリックな安全アーキテクチャであるSafeGateを紹介した。 さらに,ゲートを通過するコマンドを不変条件,ガード条件,中止条件に分解するタスクセーフティ契約を導入する。 その結果,SafeGateは,良性タスクの高い受け入れを維持しつつも,欠陥コマンドの受け入れを著しく減少させることがわかった。
  論文  参考訳（メタデータ） (2026-04-07T04:46:06Z)
• Internal Safety Collapse in Frontier Large Language Models [65.00730294617382]
  この研究は、フロンティア大言語モデル(LLM)における重要な障害モードを特定する。 特定のタスク条件下では、モデルは有害なコンテンツを連続的に生成し、そうでなければ良質なタスクを実行する状態に入る。 有害なコンテンツを生成することが唯一有効な完了であるドメインタスクを通じてISCをトリガーするフレームワークであるTVDを紹介する。
  論文  参考訳（メタデータ） (2026-03-04T12:55:34Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• Pro2Guard: Proactive Runtime Enforcement of LLM Agent Safety via Probabilistic Model Checking [8.970702398918924]
  大規模言語モデル(LLM)エージェントは、ロボット工学、仮想アシスタント、Webオートメーションといった分野にまたがる強力な自律能力を示す。 AgentSpecのような既存のルールベースの執行システムは、リアクティブな安全ルールの開発に重点を置いている。 本稿では,確率的到達可能性解析に基づくプロアクティブ実行時実行フレームワークPro2Guardを提案する。
  論文  参考訳（メタデータ） (2025-08-01T10:24:47Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
  我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。 SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。