論文の概要: Red-Teaming of Vision-Language-Action Models via Quality Diversity Environment Generation
- arxiv url: http://arxiv.org/abs/2610.14415v1
- Date: Sat, 10 Oct 2026 00:25:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 21:43:01.070297
- Title: Red-Teaming of Vision-Language-Action Models via Quality Diversity Environment Generation
- Title(参考訳): 品質多様性環境生成による視覚・言語・行動モデルの再編成
- Abstract要約: Vision-Language-Action(VLA)モデルは、ロボットデモの大規模なコレクションをトレーニングすることで、この目標に向けて有望な道筋を提供する。
VLAモデルは、小さなテストタイムシフトで失敗することが多い。
本稿では,VLAのロバスト性を改善するために,Q-DEG(Quality Diversity for Diverse Environment Generation)を提案する。
- 参考スコア(独自算出の注目度): 14.009388986518916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A long-standing goal in robotics is to develop generalist robots that can perform tasks across a wide range of settings, flexibly specified with images and text. Vision-Language-Action (VLA) models offer a promising path toward this goal by training on large collections of robot demonstrations. However, while VLAs perform well in-distribution, they often fail under minor test-time shifts, such as changes in object positions, lighting, textures, and camera poses. To address this, we propose Quality Diversity for Diverse Environment Generation (Q-DEG), a method for improving VLA robustness by generating adversarial environments and fine-tuning the VLA on its own successful rollouts. Q-DEG uses Quality Diversity (QD) optimization to find a set of high-failure environments, while promoting diversity using policy embeddings extracted from the VLA. These environments expose vulnerabilities that can be mitigated through self-imitation fine-tuning, thereby improving the VLA's robustness. In simulation, we conduct experiments across three representative VLA models, and our results indicate that Q-DEG improves robustness to out-of-distribution (OOD) adversarial environments compared to the base VLA and VLAs fine-tuned using data collected from two red-teaming baselines. Furthermore, we demonstrate that improving VLA robustness through Q-DEG facilitates sim-to-real transfer. Our anonymous project website is at: https://qd-env.github.io/qdeg/.
- Abstract(参考訳): ロボット工学の長年の目標は、画像やテキストで柔軟に指定された幅広い設定でタスクを実行できる汎用ロボットを開発することである。
Vision-Language-Action(VLA)モデルは、ロボットデモの大規模なコレクションをトレーニングすることで、この目標に向けて有望な道筋を提供する。
しかしながら、VLAはよく分布するが、オブジェクトの位置、照明、テクスチャ、カメラのポーズの変化など、小さなテスト時間シフトで失敗することが多い。
そこで本稿では, 対向環境を生成し, VLAのロールアウトを微調整することで, VLAのロバスト性を向上させる手法であるQ-DEGを提案する。
Q-DEGは、品質多様性(QD)最適化を使用して、VLAから抽出したポリシー埋め込みを使用して多様性を促進しながら、高機能環境の集合を見つける。
これらの環境は、自己アニメーションの微調整によって軽減される脆弱性を露呈し、VLAの堅牢性を改善する。
シミュレーションでは,3つの代表的なVLAモデルを対象とした実験を行い,この結果から,Q-DEGはベースVLAおよびVLAに対して,2つの赤チームベースラインから収集したデータを用いて微調整されるのに対し,OOD(out-of-distriion)環境に対するロバスト性を改善することが示唆された。
さらに,Q-DEGによるVLAのロバスト性の向上がシミュレート・トゥ・リアル転送を促進することを示す。
私たちの匿名プロジェクトのWebサイトは以下のとおりです。
関連論文リスト
- UniGen-AR: Unifying Visual Generation with Auto-Regressive Modeling [57.126059929740926]
統一視覚生成 (Unified Visual Generation, UVG) について検討した。
汎用多目的言語モデル(MLLM)と効率的な視覚自動回帰デコーダを組み合わせたフレームワークUniGen-ARを提案する。
MLLMは、自由形式の命令と制御信号を統一シーケンスに符号化し、VARデコーダを誘導して、4つのファミリーにまたがる15以上のタスクに対して画像評価出力を生成する。
論文 参考訳(メタデータ) (2026-07-27T08:35:09Z) - Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies [16.134245045349036]
本稿では,多種多様な自然言語タスク記述を選択的に識別し,チーム分けを行うQ-DIGを提案する。
Q-DIGはベースライン方式よりも多様で有意義な障害モードを見出す。
ユーザ調査の結果は、Q-DIGがベースラインのプロンプトよりも自然で人間らしいと判断されたプロンプトを生成することを強調している。
論文 参考訳(メタデータ) (2026-03-12T22:58:42Z) - Green-VLA: Staged Vision-Language-Action Model for Generalist Robots [0.0]
我々は,グリーンヒューマノイドロボット上での現実的な展開を実現するための,段階的ビジョン・ランゲージ・アクション・フレームワークであるGreen-VLAを紹介した。
我々は、時間的アライメントと品質フィルタリングを備えたスケーラブルなデータ処理パイプラインを結合し、統一されたエンボディメント対応アクションインターフェースを使用する。
Simpler BRIDGE WidowXとCALVIN ABC-Dの実験は、実ロボットの評価と同様に、RLアライメントによる強力な一般化と性能向上を示す。
論文 参考訳(メタデータ) (2026-01-31T22:13:23Z) - HiMoE-VLA: Hierarchical Mixture-of-Experts for Generalist Vision-Language-Action Policies [83.41714103649751]
具体的インテリジェンスモデルの開発は、高品質なロボットのデモデータへのアクセスに依存する。
異種多種多様なロボットデータを扱うための視覚言語アクションフレームワークであるHiMoE-VLAを提案する。
HiMoE-VLAは既存のVLAベースラインよりも一貫したパフォーマンス向上を示し、高い精度と堅牢な一般化を実現している。
論文 参考訳(メタデータ) (2025-12-05T13:21:05Z) - X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model [62.21943953611646]
Vision-Language-Actionモデルは、多様なロボットプラットフォームにわたる効果的なトレーニングに依存している。
最小限のパラメータを付加したソフトプロンプト手法を提案する。
0.9Bのインスタンス化-X-VLA-0.9Bは,ベンチマークの全体にわたってSOTA性能を同時に達成することを示す。
論文 参考訳(メタデータ) (2025-10-11T16:20:17Z) - dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought [66.78110237549087]
VLA(Vision-Language-Action)モデルは、ロボット工学の次世代パラダイムとして登場しつつある。
単一システムにおける視覚認識,言語推論,ロボット制御を統一する拡散型VLAであるdVLAを紹介する。
論文 参考訳(メタデータ) (2025-09-30T02:36:11Z) - VLA-LPAF: Lightweight Perspective-Adaptive Fusion for Vision-Language-Action to Enable More Unconstrained Robotic Manipulation [4.9164669212756325]
2次元データのみを用いてVLAモデルの視点適応性を向上する軽量モジュールVLA-LPAFを提案する。
VLA-LPAFは、単一のビューの画像を用いて微調整され、潜在空間における他のマルチビュー観測を融合する。
実験によると、RoboFlamingo-LPAFは、CALVINで平均8%、LIBEROで15%、カスタマイズされたシミュレーションベンチマークで30%のタスク成功率の改善を実現している。
論文 参考訳(メタデータ) (2025-09-18T05:24:39Z) - RoboMonkey: Scaling Test-Time Sampling and Verification for Vision-Language-Action Models [28.422082187079166]
我々は、Vision-Language-Action(VLA)モデルのテスト時間スケーリングフレームワークであるRoboMonkeyを紹介した。
RoboMonkeyは、VLAから小さなアクションの集合をサンプリングし、ガウス摂動と過半数投票を適用してアクション提案分布を構築し、次に視覚言語モデル(VLM)ベースの検証器を使用して最適なアクションを選択する。
既存のVLAとRoboMonkeyのペアリングは大きなパフォーマンス向上をもたらし、アウト・オブ・ディストリビューションタスクでは25%、イン・ディストリビューションタスクでは9%の絶対的な改善を実現している。
論文 参考訳(メタデータ) (2025-06-21T20:56:17Z) - GenRecal: Generation after Recalibration from Large to Small Vision-Language Models [63.27511432647797]
視覚言語モデル(VLM)は、GPT-4Vのようなクローズドソースシステムと同等の性能を達成するために、大きな言語モデル(LLM)を活用している。
視覚言語モデル(VLM)の最近の進歩は、GPT-4Vのようなクローズドソースシステムと同等の性能を達成するために、大きな言語モデル(LLM)を活用している。
論文 参考訳(メタデータ) (2025-06-18T17:59:49Z) - CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation [100.25567121604382]
VLA(Vision-Language-Action)モデルは、言語誘導されたタスクの実行と、目に見えないシナリオへの一般化の観点から、ロボット操作を改善した。
VLM(Vision-Language-Models)に基づく新しい高度なVLAアーキテクチャを提案する。
我々のモデルはタスクパフォーマンスにおいて既存のVLAをはるかに上回るだけでなく、新しいロボットへの顕著な適応と、見えないオブジェクトや背景への一般化も示している。
論文 参考訳(メタデータ) (2024-11-29T12:06:03Z) - VLATest: Testing and Evaluating Vision-Language-Action Models for Robotic Manipulation [7.8735930411335895]
本稿では,VLAモデルをテストするロボット操作シーンを生成するファジィフレームワークであるVLATestを紹介する。
VLATestに基づいて,7つの代表的なVLAモデルの性能評価実験を行った。
論文 参考訳(メタデータ) (2024-09-19T16:33:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。