論文の概要: RedVLA: Physical Red Teaming for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2604.22591v1
- Date: Fri, 24 Apr 2026 14:18:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-27 15:36:26.498504
- Title: RedVLA: Physical Red Teaming for Vision-Language-Action Models
- Title(参考訳): RedVLA:ビジョンランゲージアクションモデルのための物理レッドチーム
- Authors: Yuhao Zhang, Borong Zhang, Jiaming Fan, Jiachen Shen, Yishuai Cai, Yaodong Yang, Jiaming Ji,
- Abstract要約: VLAモデルにおける物理安全のための最初のレッド・チーム・フレームワークである textbfRedVLA を提案する。
RedVLAは様々な安全でない動作を明らかにし、10回の最適化イテレーションで最大95.5%のASRを達成する。
また、RedVLA生成データから構築した軽量安全ガードであるSimpleVLA-Guardを提案する。
- 参考スコア(独自算出の注目度): 23.095522907166195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The real-world deployment of Vision-Language-Action (VLA) models remains limited by the risk of unpredictable and irreversible physical harm. However, we currently lack effective mechanisms to proactively detect these physical safety risks before deployment. To address this gap, we propose \textbf{RedVLA}, the first red teaming framework for physical safety in VLA models. We systematically uncover unsafe behaviors through a two-stage process: (I) \textbf{Risk Scenario Synthesis} constructs a valid and task-feasible initial risk scene. Specifically, it identifies critical interaction regions from benign trajectories and positions the risk factor within these regions, aiming to entangle it with the VLA's execution flow and elicit a target unsafe behavior. (II) \textbf{Risk Amplification} ensures stable elicitation across heterogeneous models. It iteratively refines the risk factor state through gradient-free optimization guided by trajectory features. Experiments on six representative VLA models show that RedVLA uncovers diverse unsafe behaviors and achieves the ASR up to 95.5\% within 10 optimization iterations. To mitigate these risks, we further propose SimpleVLA-Guard, a lightweight safety guard built from RedVLA-generated data. Our data, assets, and code are available \href{https://redvla.github.io}{here}.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルの実際の展開は、予測不可能で不可逆的な物理的損害のリスクによって制限されている。
しかし、現在、配置前にこれらの物理的安全性リスクを積極的に検出する効果的なメカニズムが欠如している。
このギャップに対処するために、VLAモデルにおける物理安全のための最初のレッド・チーム・フレームワークである \textbf{RedVLA} を提案する。
I) \textbf{Risk Scenario Synthesis} は、有効かつタスク可能な初期リスクシーンを構築する。
具体的には、良性軌跡から重要な相互作用領域を特定し、これらの領域内でリスクファクターを配置し、VLAの実行フローと結びつき、ターゲットの安全でない振る舞いを誘発することを目的としている。
(II) \textbf{Risk Amplification} はヘテロジニアスモデル間の安定なエリケーションを保証する。
軌道特徴によって導かれる勾配のない最適化を通じて、リスクファクター状態を反復的に洗練する。
6つの代表的なVLAモデルの実験では、RedVLAは様々な安全でない振る舞いを明らかにし、10回の最適化イテレーションで最大95.5\%のASRを達成する。
これらのリスクを軽減するために、RedVLA生成データから構築された軽量安全ガードであるSimpleVLA-Guardを提案する。
我々のデータ、資産、コードは、 href{https://redvla.github.io}{here} で利用可能です。
関連論文リスト
- HazardArena: Evaluating Semantic Safety in Vision-Language-Action Models [87.35765363039638]
本研究では,視覚・言語・アクションモデルのセマンティック安全性を評価するためのベンチマークであるHazardArenaを紹介する。
安全シナリオに特化してトレーニングされたVLAモデルは、対応する安全でないシナリオで評価された場合、安全に動作しないことが多い。
本研究では,セマンティック属性や視覚言語判断を用いた行動実行を制約する,トレーニングフリーの安全オプション層を提案する。
論文 参考訳(メタデータ) (2026-04-14T08:32:02Z) - Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。
本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
論文 参考訳(メタデータ) (2026-04-07T08:43:36Z) - Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models [71.11171576590134]
視覚言語モデルは視覚的ジェイルブレイク攻撃によって容易に誘導され、有害なコンテンツを生成する。
本稿では,NullSteerを提案する。
我々はNullSteerが様々なジェイルブレイク攻撃において有害な出力を著しく減少させることを示す。
論文 参考訳(メタデータ) (2026-03-23T15:23:23Z) - HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。
CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。
実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
論文 参考訳(メタデータ) (2026-03-15T13:09:43Z) - AttackVLA: Benchmarking Adversarial and Backdoor Attacks on Vision-Language-Action Models [60.39655329875822]
VLA(Vision-Language-Action)モデルは、ロボットが自然言語の命令を解釈し、多様なタスクを実行することを可能にするモデルである。
このようなモデルを攻撃することへの関心は高まっているが、既存の手法の有効性は依然として不明である。
我々はVLA開発ライフサイクルに合わせて統合されたフレームワークであるAttackVLAを提案する。
論文 参考訳(メタデータ) (2025-11-15T10:30:46Z) - Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。
動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。
STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
論文 参考訳(メタデータ) (2025-05-22T18:05:16Z) - SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Constrained Learning [30.037309138373754]
視覚言語アクションモデル(VLA)は、汎用的なロボットポリシーとしての可能性を示している。
これらのモデルは、環境、ロボット自身、人間への危害のリスクを含む、現実世界の展開中に極端な安全上の課題を生じさせる。
我々は、ISA(Integrated safety approach)を探求し、安全要件を体系的にモデル化し、多様な安全でない振る舞いを積極的に引き出すことによって、この問題に対処する。
論文 参考訳(メタデータ) (2025-03-05T13:16:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。