論文の概要: Structure-Aware Robust Fine-Tuning: Defending Vision-Language-Action Robots Against Physical Attention Hijacking

• arxiv url: http://arxiv.org/abs/2608.03231v1
• Date: Tue, 04 Aug 2026 07:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.075149
• Title: Structure-Aware Robust Fine-Tuning: Defending Vision-Language-Action Robots Against Physical Attention Hijacking
• Title（参考訳）: 構造を意識したロバストファインチューニング:身体の注意をハイジャックするビジョンランゲージアクションロボット
• Authors: Jinquan Zhang, Dongfu Yin, Run Yang, Yufeng Yan, Zhen Tian, F. Richard Yu,
• Abstract要約: VLA(Vision-Language-Action)ポリシーは、一般的なロボット操作を約束するが、物理世界の攻撃に対する堅牢性は依然として脆弱だ。 物理的に実現可能な敵パッチは、ポリシークリティカルなアクション・ツー・ビジョン・アテンション・ハイジャックと呼ばれるメカニズムを起動することで、確実に障害を誘発できることを示す。 本研究では,機能アンカー,ポリシクリティカルアテンション補正,言語誘導型幾何整合性を用いた視覚エンコーダのみを微調整し,意味的関連領域に限定したゼロ推論オーバーヘッドディフェンスである構造認識ロバストファインタニング(SARF)を提案する。
• 参考スコア（独自算出の注目度）: 34.12193936594126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) policies promise general robotic manipulation, but their robustness against physical-world attacks remains fragile. In particular, we show that physically realizable adversarial patches can reliably induce failures by triggering a mechanism we call policy-critical action-to-vision attention hijacking, where action-conditioned attention is diverted from task-relevant regions to a localized patch. To demonstrate the threat, we propose Attention-Guided Semantic Disruption (AGSD), an Expectation-over-Transformation (EOT) optimized printable patch that jointly (i) concentrates action-to-vision attention on the patch and (ii) disrupts vision-language semantic alignment, yielding strong cross-task and cross-architecture transfer. To mitigate such attacks, we introduce Structure-Aware Robust Fine-Tuning (SARF), a zero-inference-overhead defense that fine-tunes only the visual encoder using feature anchoring, policy-critical attention correction, and language-guided geometric consistency restricted to semantically relevant regions. On LIBERO, SARF reduces OpenVLA's failure rate under AGSD from 100% to 14.2%-56.8% (28.6% average) across suites while preserving clean performance, and on a real PiPER manipulator it improves average success under AGSD from 23.0% to 65.0%. These results highlight mechanism-level robustness as a practical path to securing VLA robots against physical attention hijacking.
• Abstract（参考訳）: VLA(Vision-Language-Action)ポリシーは、一般的なロボット操作を約束するが、物理世界の攻撃に対する堅牢性は依然として脆弱だ。 特に、物理的に実現可能な敵パッチは、タスク関連領域から局所化パッチへアクション条件付き注意を逸脱させるポリシークリティカルなアクション・ツー・ビジョン・アテンション・ハイジャックと呼ばれるメカニズムを起動することで、確実に障害を誘発できることを示す。 この脅威を実証するため、我々はAttention-Guided Semantic Disruption (AGSD)を提案する。 (i)パッチにアクション・ツー・ビジョンの注意を集中させ、 (ii) 視覚言語間のセマンティックアライメントを乱し、強いクロスタスクとクロスアーキテクチャ転送をもたらす。 このような攻撃を軽減するため,機能アンカリング,ポリシクリティカルアテンション補正,言語誘導型幾何整合性を意味のある領域に限定した,視覚的エンコーダのみを微調整するゼロ推論オーバーヘッドディフェンスであるStructure-Aware Robust Fine-Tuning (SARF)を導入する。 LIBEROでは、SARFはAGSDでのOpenVLAの故障率を100%から14.2%-56.8%(平均28.6%)に削減し、実際のPiPERマニピュレータではAGSDでの平均成功率を23.0%から65.0%に改善した。 これらの結果から,VLAロボットの物理的ハイジャック対策の実践的方法として,機構レベルのロバスト性を強調した。

関連論文リスト

• VLAGuard: A Framework for Evaluating and Mitigating Physical Attention Hijacking in Vision-Language-Action Robots within Wireless Sensor Networks [1.9680580983094325]
  我々は、政策クリティカルなアクション・ツー・ビジョンのハイジャックという重大な脆弱性を評価し、軽減するためのフレームワークを提案する。 本研究では,時間的注意を安定させ,推定オーバーヘッドをゼロにする幾何整合性を実現する防衛法であるAttentionProtective Fine-Tuning (APFT)を提案する。
  論文  参考訳（メタデータ） (2026-08-02T06:06:28Z)
• Partially Observable Adversarial Patch Attacks on Vision-Language-Action Models in Robotics [21.834006622805678]
  ヴィジュアル・ランゲージ・アクション(VLA)モデルはロボット工学において注目を集めているが、敵の攻撃に対するロバスト性はほとんど解明されていない。 部分的に観測可能な脅威モデルを定式化し、敵は軌跡の短いプレフィックスのみを利用でき、その後の全てのフレームに適用する固定パッチを生成する。 まず、モデルの注意マップを用いてパッチをローカライズし、フルインストラクションに対応する視覚的に重要な領域を特定する。 次に,対象対象物のセマンティックグラウンドを乱すパッチを最適化し,動作軌跡の曲率を増加させる。
  論文  参考訳（メタデータ） (2026-06-02T12:19:28Z)
• VLA-Hijack: A Transferable Patch Attack against Vision-Language-Action Models via Visual Proprioception Hijacking [49.51251398232003]
  VLA-HijackはVision-Language-Actionモデルのための統合された対向フレームワークである。 共有された視覚的自己ローカライゼーションプロセスを活用することで、根本的な脆弱性を悪用する。 ホワイトボックス設定において優れた最適化効率を実現し、クロスアーキテクチャとクロスドメインブラックボックス転送性のための新しいSOTAを設定する。
  論文  参考訳（メタデータ） (2026-05-27T07:38:16Z)
• ATAAT: Adaptive Threat-Aware Adversarial Tuning Framework against Backdoor Attacks on Vision-Language-Action Models [11.93174278125059]
  本研究では,視覚経路を標的としたバックドア攻撃について検討した。 従来の攻撃パラダイムの障害の原因となる中核的障害を識別する:「グラディエント干渉」 適応型脅威認識型適応チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-09T02:15:10Z)
• Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
  本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。 本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
  論文  参考訳（メタデータ） (2026-04-07T08:43:36Z)
• When Robots Obey the Patch: Universal Transferable Patch Attacks on Vision-Language-Action Models [81.7618160628979]
  VLA(Vision-Language-Action)モデルは敵の攻撃に弱いが、普遍的かつ移動可能な攻撃は未発見のままである。 UPA-RFAS(Universal Patch Attack via Robust Feature, Attention, and Semantics)は、単一の物理的パッチを共有機能空間で学習する統合フレームワークである。 多様なVLAモデル、操作スイート、物理実行の実験は、UPA-RFASがモデル、タスク、視点を一貫して移行していることを示している。
  論文  参考訳（メタデータ） (2025-11-26T09:16:32Z)
• Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement [68.31147013783387]
  我々は,アテンション機構がパッチベースの敵攻撃に弱いことを観察した。 本稿では,意味的セグメンテーションモデルの堅牢性を改善するために,ロバスト注意機構(RAM)を提案する。
  論文  参考訳（メタデータ） (2024-01-03T13:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。