論文の概要: BadWAM: When World-Action Models Dream Right but Act Wrong
- arxiv url: http://arxiv.org/abs/2607.15207v1
- Date: Thu, 16 Jul 2026 17:04:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.181297
- Title: BadWAM: When World-Action Models Dream Right but Act Wrong
- Title(参考訳): バッドワム:ワールド・アクション・モデルが夢見る時、それは間違っていた
- Abstract要約: 世界行動モデル(WAM)は、身体制御のための有望な基盤として浮上している。
我々はワールド・アクション・ドリフト・アタックのモデリングと評価のための統合フレームワークであるBadWAMを紹介した。
BadWAMはこの攻撃面を、攻撃強度とステルスネスという2つの自然な基準に沿って特徴付けている。
この攻撃はクローズドループ実行時のタスク成功率を大幅に低下させることを示す。
- 参考スコア(独自算出の注目度): 85.9616441469113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World-action models (WAMs) are emerging as a promising foundation for embodied control: rather than predicting actions alone, they learn representations that couple action generation with future world prediction. This coupling is often viewed as a source of robustness, interpretability, and safety, as a robot's action can in principle be checked against its imagined future. In this paper, we show that this assumption is fragile. We introduce BadWAM, a unified framework for modeling and evaluating World-Action Drift Attacks: a new class of WAM-specific adversarial attacks that use small visual perturbations to break the alignment between what a WAM imagines and what it executes. BadWAM characterizes this attack surface along two natural criteria: attack strength and stealthiness. When the adversary prioritizes disruption, BadWAM instantiates an action-only adversarial attack, which directly drives the model toward task-failing actions. When the adversary additionally prioritizes stealth, BadWAM instantiates an imagination-preserving adversarial attack, which seeks to induce harmful action shifts while keeping the model's predicted future close to its clean imagination. Together, these two attacks capture a spectrum of WAM-specific failures: from overt action hijacking to stealthier cases where the model appears to imagine a plausible future but executes a desynchronized action. We evaluate BadWAM across different variants of WAMs. Results show that our attacks substantially reduce task success rates under closed-loop execution. For example, our action-only attack reduces the model performance from 96.5% to 43.1% success. The results of our imagination-preserving attack further exposes a WAM-specific vulnerability: moderate future-preserving regularization can maintain strong attack performance while reducing future imagination drift.
- Abstract(参考訳): 世界行動モデル(WAM)は、行動のみを予測するのではなく、将来の世界予測とアクション生成を結合する表現を学ぶという、実現可能なコントロールの基礎として浮上している。
この結合はしばしば、ロボットのアクションが原則として、想像された未来に対してチェックできるため、堅牢性、解釈可能性、安全性の源と見なされる。
本稿では,この仮定が脆弱であることを示す。
我々は,ワールド・アクション・ドリフト・アタック(World-Action Drift Attacks)をモデル化し,評価するための統合フレームワークであるBadWAMを紹介した。
BadWAMはこの攻撃面を、攻撃強度とステルスネスという2つの自然な基準に沿って特徴付けている。
敵が破壊を優先すると、BadWAMはアクションのみの敵攻撃をインスタンス化し、そのモデルを直接タスク障害アクションに向けて駆動する。
敵がステルスを優先すると、BadWAMは想像力を保つ敵攻撃をインスタンス化し、モデルの将来をそのクリーンな想像力に近づけながら有害な行動シフトを誘導する。
オーバートアクションハイジャックから、モデルが妥当な未来を想像するように見えるが、非同期アクションを実行するステルスケースまで、これら2つの攻撃はWAM固有の障害のスペクトルを捕捉する。
我々はWAMの異なる変種にまたがってBadWAMを評価する。
その結果,我々の攻撃はクローズドループ実行時のタスク成功率を大幅に低下させることがわかった。
例えば、アクションのみの攻撃は、モデルのパフォーマンスを96.5%から43.1%に削減します。
我々の想像力保存攻撃の結果は、さらにWAM特有の脆弱性を露呈する: 適度な未来保存正規化は、将来の想像力のドリフトを低減しつつ、強力な攻撃性能を維持することができる。
関連論文リスト
- SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control [38.11007351456953]
世界行動モデル(WAM)は、アクションと将来の観察を共同でモデル化することで、ロボットポリシー学習を改善する。
本稿では,モダリティに特化したMixture-of-Transformers (MoT) アーキテクチャ上に構築された,自己接地型WAMであるSelfWAMを紹介する。
我々は、より行動に敏感な未来を生み出し、迅速な政策推論を保ちつつ、政策性能を改善していることを示す。
論文 参考訳(メタデータ) (2026-08-01T15:47:29Z) - SAJA: A State-Action Joint Attack Framework on Multi-Agent Deep Reinforcement Learning [6.642809648633388]
マルチエージェントディープ強化学習(MADRL)は、自律運転や戦略ゲームといった協調的・競争的なタスクの可能性を示唆している。
MADRLによって訓練されたモデルは、状態や行動に対する敵の摂動に対して脆弱である。
本研究では, 良好な相乗効果を有する国家摩擦合同攻撃(SAJA)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-15T08:08:41Z) - Jailbreaking? One Step Is Enough! [6.142918017301964]
大規模言語モデル(LLM)は様々なタスクで優れるが、敵が有害な出力を生成するプロンプトを操作するジェイルブレイク攻撃に弱いままである。
本稿では,攻撃意図を「防御」意図と偽装するリバース・エンベッドド・ディフェンス・アタック(REDA)機構を提案する。
モデルの「防御的」意図における信頼性とガイダンスを高めるため、少数の攻撃例を含む文脈内学習(ICL)を採用する。
論文 参考訳(メタデータ) (2024-12-17T07:33:41Z) - Rethinking Impersonation and Dodging Attacks on Face Recognition Systems [38.37530847215405]
顔認識(FR)システムは、知覚不能な摂動を通じて良質な顔画像を操作する敵の例によって容易に認識できる。
従来の方法では、FRに対する偽装攻撃を成功させることが多いが、ブラックボックス設定でFRに対するドッジ攻撃を成功させるとは限らない。
そこで本稿では, 対人的能力を維持しつつ, 対人的能力を高めるために, 既存の対人的能力を微調整する, 対人的プルーニング(Adv-Pruning, Adv-Pruning)と呼ばれる新たな攻撃手法を提案する。
論文 参考訳(メタデータ) (2024-01-17T01:10:17Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳(メタデータ) (2023-11-20T02:21:49Z) - Attack-SAM: Towards Attacking Segment Anything Model With Adversarial
Examples [68.5719552703438]
Segment Anything Model (SAM) は、様々なダウンストリームタスクにおける印象的なパフォーマンスのために、最近大きな注目を集めている。
深い視覚モデルは敵の例に弱いと広く認識されており、それはモデルを騙して知覚不能な摂動で間違った予測をする。
この研究は、SAMの攻撃方法に関する総合的な調査を敵対的な例で実施した最初のものである。
論文 参考訳(メタデータ) (2023-05-01T15:08:17Z) - Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。
近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。
攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。
BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
論文 参考訳(メタデータ) (2022-11-21T09:51:28Z) - Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。
既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。
以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
論文 参考訳(メタデータ) (2022-07-20T19:49:09Z) - Guided Adversarial Attack for Evaluating and Enhancing Adversarial
Defenses [59.58128343334556]
我々は、より適切な勾配方向を見つけ、攻撃効果を高め、より効率的な対人訓練をもたらす標準損失に緩和項を導入する。
本稿では, クリーン画像の関数マッピングを用いて, 敵生成を誘導するGAMA ( Guided Adversarial Margin Attack) を提案する。
また,一段防衛における最先端性能を実現するためのGAT ( Guided Adversarial Training) を提案する。
論文 参考訳(メタデータ) (2020-11-30T16:39:39Z) - Adversarial Example Games [51.92698856933169]
Adrial Example Games (AEG) は、敵の例の製作をモデル化するフレームワークである。
AEGは、ある仮説クラスからジェネレータとアバーサを反対に訓練することで、敵の例を設計する新しい方法を提供する。
MNIST と CIFAR-10 データセットに対する AEG の有効性を示す。
論文 参考訳(メタデータ) (2020-07-01T19:47:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。