論文の概要: SafeVLA-Bench: A Benchmark for the Success-Safety Gap in Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2606.00773v1
- Date: Sat, 30 May 2026 15:31:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:55:54.583076
- Title: SafeVLA-Bench: A Benchmark for the Success-Safety Gap in Vision-Language-Action Models
- Title（参考訳）: SafeVLA-Bench:ビジョンランゲージ・アクションモデルにおける成功-安全ギャップのベンチマーク
- Abstract要約: ビジョン言語アクション(VLA)ベンチマークは、ポリシーが要求された操作タスクを完了するかどうかを測定する。
本稿では,既存のシミュレータベースのVLAベンチマークの安全性評価フレームワークであるSafeVLA-Benchを紹介する。
- 参考スコア（独自算出の注目度）: 5.9288463407781995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) benchmarks measure whether a policy completes a requested manipulation task, but binary success can hide safety-relevant trajectory behavior: reaching the goal while applying excessive contact, disturbing bystander objects, destabilizing the held object, or entering robot self-contact. We present SafeVLA-Bench, a post-hoc safety-evaluation framework for existing simulator-based VLA benchmarks. It formalizes task-aware safety requirements as Signal Temporal Logic (STL) specifications and reports native success with two unsafe-success metrics: Succ-But-Unsafe (SBU), the fraction of rollouts that both succeed and violate safety, and Violation Severity Index (VSI), a bounded worst-violation depth score. We instantiate SafeVLA-Bench on LIBERO and RoboCasa-365, evaluating nine policy-benchmark entries across tabletop and kitchen manipulation tasks. High task success does not imply safe execution: high-SR tabletop baselines still leave 13 to 15 percent unsafe-episode rates,and 36 to 56 percent of successful RoboCasa-365 rollouts violate at least one active safety clause. Project page: https://safevla.org.
- Abstract（参考訳）: ビジョン言語アクション(VLA)ベンチマークは、ポリシーが要求された操作タスクを完了したかどうかを計測するが、バイナリ成功は、過度の接触を適用しながら目標に達すること、傍観者のオブジェクトを乱すこと、保持されたオブジェクトの不安定化、ロボットの自己接触の侵入など、安全関連軌道行動を隠すことができる。
本稿では,既存のシミュレータベースのVLAベンチマークの安全性評価フレームワークであるSafeVLA-Benchを紹介する。
タスク認識の安全性要件をSignal Temporal Logic (STL) 仕様として形式化し、Scc-But-Unsafe (SBU)とViollation Severity Index (VSI)の2つの安全でないメトリクスでネイティブに成功を報告している。
LIBEROおよびRoboCasa-365上でSafeVLA-Benchをインスタンス化し、テーブルトップおよびキッチン操作タスク間の9つのポリシーベンチマークエントリを評価する。
高いタスクの成功は、実行を安全にするものではない: 高SRテーブルトップのベースラインは、まだ13～15%が安全でないため、成功しているRoboCasa-365のロールアウトのうち、36～66%が少なくとも1つのアクティブな安全条項に違反している。
プロジェクトページ: https://safevla.org
関連論文リスト
- SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents [29.05559307748216]
SFERELBENCHは,507個の実測値を持つ空間相関型安全ベンチマークである。
SAFERELBENCHを用いて、7つのオープンソースおよびクローズドソースなVLM駆動型エンボディエージェントの評価を行い、タスク成功とプロセスレベルの安全コンプライアンスの間に大きなギャップを見出した。
論文 参考訳（メタデータ） (2026-07-16T03:59:44Z) - SoftVTBench: A Safety-Aware Visuo-Tactile Benchmark for Physically Constrained Robotic Manipulation of Deformable Objects [56.16187327142104]
We present SoftVTBench, a safety-aware visuo-tactile benchmark for deformable object operation。
有限要素シミュレートされた変形可能な物体を持つアイザック・シムで構築されたSoftVTBenchは、多視点RGB観察、マーカーの動きによる触覚センシング、プロプレセプション、言語指示を提供する。
論文 参考訳（メタデータ） (2026-07-05T11:12:29Z) - ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models [7.1396544907031165]
本稿では,視覚自明な動作(VLA)システムにおいて,安全性を主要な評価対象とする診断ベンチマークであるForesightSafety-VLAを紹介する。
物理的相互作用安全性(セーフコア)、命令側安全(セーフラング)、知覚側安全(セーフビジョン)を対象とする13カテゴリーの安全分類を定義する。
我々は,RoboTwinの66の安全拡張ベースシナリオを5つの実施形態でインスタンス化し,代表VLAベースラインについて報告する。
論文 参考訳（メタデータ） (2026-06-25T14:19:36Z) - VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring [60.53395558502203]
Vision-Language Embodied Safety Agent (VLESA)は、自我中心のビデオから人間の活動を監視する。
VLESAは、コンテキストに応じて同一のアクションが安全または危険である意図に依存した安全性に対処する。
目標を共同で推測し,映像から将来の行動を予測するための意図-行動予測エージェントを提案する。
論文 参考訳（メタデータ） (2026-06-02T17:42:17Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - SafeManip: A Property-Driven Benchmark for Temporal Safety Evaluation in Robotic Manipulation [30.582295885898997]
本稿では,ロボット操作における時間的安全特性を明示的に評価するためのプロパティ駆動型ベンチマークであるSafeManipを紹介する。
SafeManipは、有限トレース上の線形時間論理(LTLf)を用いて、有限実行上の再利用可能な安全テンプレートを定義する。
我々は,50のRoboCasa365家計タスクに対して,$_0.5$,GR00T,およびそれらのトレーニングバリエーションを含む6つの視覚言語アクションポリシーについてSafeManipを評価した。
論文 参考訳（メタデータ） (2026-05-12T16:49:28Z) - Automated Safety Benchmarking: A Multi-agent Pipeline for LVLMs [61.01470415470677]
大規模視覚言語モデル(LVLM)は、クロスモーダルタスクにおいて顕著な能力を示すが、重大な安全性上の課題に直面している。
既存のベンチマークは、労働集約的な建設プロセス、静的な複雑さ、限定的な差別力によって妨げられている。
LVLMの安全性ベンチマークのための最初の自動システムであるVLSafetyBencherを提案する。
論文 参考訳（メタデータ） (2026-01-27T11:51:30Z) - RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。
しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。
提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
論文 参考訳（メタデータ） (2025-12-24T15:01:26Z) - SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。
既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。
4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
論文 参考訳（メタデータ） (2025-10-08T10:39:12Z) - SafeMind: Benchmarking and Mitigating Safety Risks in Embodied LLM Agents [7.975014390527644]
大規模言語モデル(LLM)を利用したエージェントは、高度な計画能力を継承するが、物理世界との直接的な相互作用は安全上の脆弱性を露呈する。
SafeMindBenchは、4つのタスクカテゴリ(Instr-Risk、Env-Risk、Order-Fix、Req-Align)にまたがる5,558のサンプルを備えたマルチモーダルベンチマークである。
SafeMindAgentはモジュール型Planner-Executorアーキテクチャで、3つのケースドセーフモジュールを統合し、安全性制約を推論プロセスに組み込む。
論文 参考訳（メタデータ） (2025-09-30T07:24:04Z) - SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Constrained Learning [30.037309138373754]
視覚言語アクションモデル(VLA)は、汎用的なロボットポリシーとしての可能性を示している。
これらのモデルは、環境、ロボット自身、人間への危害のリスクを含む、現実世界の展開中に極端な安全上の課題を生じさせる。
我々は、ISA(Integrated safety approach)を探求し、安全要件を体系的にモデル化し、多様な安全でない振る舞いを積極的に引き出すことによって、この問題に対処する。
論文 参考訳（メタデータ） (2025-03-05T13:16:55Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。