論文の概要: ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2606.27079v2
- Date: Sat, 27 Jun 2026 13:41:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 13:45:02.139803
- Title: ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models
- Title（参考訳）: ForesightSafety-VLA:ビジョン・ランゲージ・アクションモデルのための統一診断安全ベンチマーク
- Abstract要約: 本稿では,視覚自明な動作(VLA)システムにおいて,安全性を主要な評価対象とする診断ベンチマークであるForesightSafety-VLAを紹介する。
物理的相互作用安全性(セーフコア)、命令側安全(セーフラング)、知覚側安全(セーフビジョン)を対象とする13カテゴリーの安全分類を定義する。
我々は,RoboTwinの66の安全拡張ベースシナリオを5つの実施形態でインスタンス化し,代表VLAベースラインについて報告する。
- 参考スコア（独自算出の注目度）: 7.1396544907031165
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In embodied intelligence, safety is a prerequisite for reliable robot deployment in the physical world. Current vision-language-action (VLA) models continue to advance toward general-purpose task capability, yet their embodied safety limits remain poorly understood. To address this gap, we introduce ForesightSafety-VLA, a diagnostic benchmark that makes safety the primary evaluation target for VLA systems. We define a 13-category safety taxonomy covering physical interaction safety (Safe-Core), instruction-side safety (Safe-Lang), and perception-side safety (Safe-Vis), and evaluate policies under three controlled dimensions of variation -- scene structure, language command, and visual observation -- so that failure sources can be diagnosed rather than hidden in a single aggregate score. Beyond binary task success, ForesightSafety-VLA measures process-level risk through cumulative safety cost (CC) and risk exposure time (RET), together with a four-quadrant decomposition of safe/unsafe success and failure. We instantiate 66 safety-augmented base scenarios in RoboTwin across 5 embodiments and report results on representative VLA baselines. Across the evaluated baselines, even the strongest policy incurs non-trivial safety cost and unsafe nominal success, while structure and visual variation induce substantially stronger safety degradation than ordinary language variation. These results suggest that embodied safety is tightly coupled to perception, grounding, and control competence rather than being reducible to post-hoc safety filtering alone.
- Abstract（参考訳）: エンボディドインテリジェンスでは、安全は物理的世界における信頼性の高いロボット配置の前提条件である。
現在の視覚言語アクション(VLA)モデルは、汎用的なタスク能力に向けて進歩を続けているが、その具体的安全性の限界はよく分かっていない。
このギャップに対処するために,安全性をVLAシステムの主要な評価対象とする診断ベンチマークであるForesightSafety-VLAを紹介した。
物理的相互作用安全性(セーフコア)、命令側安全(セーフラング)、知覚側安全(セーフヴァイス)を対象とし、シーン構造、言語コマンド、視覚的観察という3つの制御された次元の政策を評価する。
バイナリタスクの成功以外にも、ForesightSafety-VLAは、累積安全コスト(CC)とリスク露光時間(RET)を通じてプロセスレベルのリスクを計測し、セーフ/アンセーフな成功と失敗の4つの四分の一の分解を行う。
我々は,RoboTwinの66の安全拡張ベースシナリオを5つの実施形態でインスタンス化し,代表VLAベースラインについて報告する。
評価基準の全体にわたって、最強の政策でさえ、非自明な安全コストと安全でない名目的成功をもたらし、一方、構造と視覚的変化は、通常の言語の変化よりもはるかに強力な安全性低下を引き起こす。
これらの結果から, 生体安全は, 保温後ろ過単独で再現できるのではなく, 知覚, 接地, 制御能力に強く結びついていることが示唆された。
関連論文リスト
- SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents [29.05559307748216]
SFERELBENCHは,507個の実測値を持つ空間相関型安全ベンチマークである。
SAFERELBENCHを用いて、7つのオープンソースおよびクローズドソースなVLM駆動型エンボディエージェントの評価を行い、タスク成功とプロセスレベルの安全コンプライアンスの間に大きなギャップを見出した。
論文 参考訳（メタデータ） (2026-07-16T03:59:44Z) - Yuvion LLM: An Adversarially-Aware Large Language Model for Content And AI Safety [67.86055044301408]
我々は、敵対的に堅牢なコンテンツ安全性とより広範なAI安全性のために構築された、大きな言語モデルであるYuvion LLMを紹介する。
そのパイプラインは、逆向きに認識されたデータ構築、知識の強化された継続事前訓練、およびポリシーに基づくマルチタスクのトレーニング後安全性を組み合わせたものだ。
Yuvion LLMは、安全に焦点を当てたベンチマークにおいて明らかな利点を示し、特に敵対的な条件下では強い堅牢性を示す。
論文 参考訳（メタデータ） (2026-06-26T01:12:02Z) - VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring [60.53395558502203]
Vision-Language Embodied Safety Agent (VLESA)は、自我中心のビデオから人間の活動を監視する。
VLESAは、コンテキストに応じて同一のアクションが安全または危険である意図に依存した安全性に対処する。
目標を共同で推測し,映像から将来の行動を予測するための意図-行動予測エージェントを提案する。
論文 参考訳（メタデータ） (2026-06-02T17:42:17Z) - HomeSafe-Bench: Evaluating Vision-Language Models on Unsafe Action Detection for Embodied Agents in Household Scenarios [10.375753259643]
ホームセーフベンチ(HomeSafe-Bench)は、視覚言語モデル(VLM)を評価するために設計されたベンチマークである。
リアルタイムの安全監視のための階層型ストリーミングアーキテクチャであるHuerarchical Dual-Brain Guard for Household Safety (HD-Guard)を提案する。
論文 参考訳（メタデータ） (2026-03-12T14:25:44Z) - SafeMind: Benchmarking and Mitigating Safety Risks in Embodied LLM Agents [7.975014390527644]
大規模言語モデル(LLM)を利用したエージェントは、高度な計画能力を継承するが、物理世界との直接的な相互作用は安全上の脆弱性を露呈する。
SafeMindBenchは、4つのタスクカテゴリ(Instr-Risk、Env-Risk、Order-Fix、Req-Align)にまたがる5,558のサンプルを備えたマルチモーダルベンチマークである。
SafeMindAgentはモジュール型Planner-Executorアーキテクチャで、3つのケースドセーフモジュールを統合し、安全性制約を推論プロセスに組み込む。
論文 参考訳（メタデータ） (2025-09-30T07:24:04Z) - AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。
SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。
我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
論文 参考訳（メタデータ） (2025-06-17T16:37:35Z) - HoliSafe: Holistic Safety Benchmarking and Modeling for Vision-Language Model [58.12612140992874]
我々は、安全で安全でない5つの画像テキストの組み合わせにまたがる、全体的な安全データセットとベンチマークである textbfHoliSafeを紹介した。
また,入力画像の有害性を評価するために,視覚ガードモジュール(VGM)を用いて,VLMの安全性を高めるための新しいモジュラーフレームワークを提案する。
実験により、HoliSafeでトレーニングされたVGMを使用したSafe-VLMは、複数のVLMベンチマークで最先端の安全性能を実現していることがわかった。
論文 参考訳（メタデータ） (2025-06-05T07:26:34Z) - SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Constrained Learning [30.037309138373754]
視覚言語アクションモデル(VLA)は、汎用的なロボットポリシーとしての可能性を示している。
これらのモデルは、環境、ロボット自身、人間への危害のリスクを含む、現実世界の展開中に極端な安全上の課題を生じさせる。
我々は、ISA(Integrated safety approach)を探求し、安全要件を体系的にモデル化し、多様な安全でない振る舞いを積極的に引き出すことによって、この問題に対処する。
論文 参考訳（メタデータ） (2025-03-05T13:16:55Z) - How Does Vision-Language Adaptation Impact the Safety of Vision Language Models? [27.46416187893547]
大規模言語モデル(LLM)を大規模視覚言語モデル(LVLM)に変換する視覚言語適応(VL適応)
安全性対策の弱さによる潜在的有害性にもかかわらず、VL適応の安全性への影響に関する詳細な分析は未調査のままである。
論文 参考訳（メタデータ） (2024-10-10T03:12:03Z) - Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。
この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。
以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-06-21T16:14:15Z) - The Art of Defending: A Systematic Evaluation and Analysis of LLM
Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。
本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
論文 参考訳（メタデータ） (2023-12-30T17:37:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。