CIVA: Critic-Induced Value-Subspace Attacks on Visual World-Model Agents
Abstractの概要
本論文は、固定されたDreamerV3を対象として、視覚的世界モデルエージェントに対するホワイトボックスかつ因果的でオンラインの敵対的攻撃を研究している。著者らは、意思決定が再帰的な潜在ダイナミクスに依存しており孤立した摂動が時間とともに希釈され得るため、従来のフレームごとのピクセル攻撃はこれらのエージェントに適合しないと主張する。そこで提案されるCIVAは、オフラインで収集されたクリティック誘導PGD摂動からまず低次元の攻撃部分空間を抽出し、その後オンラインでは部分空間の係数のみを最適化する。さらに、被害エージェントの価値構造への攻撃関連性を維持しつつ時間的整合性を高めるため、それらの係数に指数移動平均が適用される。
新規性
独自の特徴は、手作業で設計された基底や観測統計、一般的なピクセル空間の最適化からではなく、被害エージェントのクリティック自身の勾配から攻撃部分空間を直接導出する点にある。本手法は、このクリティック誘導部分空間を、再帰的世界モデルエージェントに合わせて調整された因果的オンライン最適化および時間平滑化と組み合わせている。
成果
DMC walker walk、Atari Pong、Crafterにおいて、CIVAは5つの最近の観測空間攻撃ベースラインを一貫して上回ることが報告されている。DMC walker walkではTempAbs 0.646で26.07%の報酬低下を達成し、Atari PongではTempAbs 0.394で85.71%の報酬低下に達している。アブレーション実験により、クリティック誘導部分空間が性能向上の主な要因であり、EMAは攻撃強度のわずかなトレードオフのみで時間的滑らかさを大幅に改善することがさらに示されている。
論文の注目点
- CIVAは、オフラインのクリティック誘導PGD摂動から抽出された低ランク部分空間にオンライン摂動探索を限定することで、視覚的世界モデルエージェントを攻撃する。
- 本手法はℓ∞の制約下でのホワイトボックスかつ因果的なオンライン設定向けに設計されており、部分空間係数にEMAを使用して時間的整合性を確保する。
- 実験とアブレーションにより、複数のベースラインよりも強力なリターン低下と低い時間的変動が示され、ランダム、全ピクセル、または報酬ヘッドを基にした代替案よりもクリティック由来の部分空間が大きく寄与していることが示された。