論文の概要: A Unified Evaluation Framework of Physical Adversarial Robustness in the Edge VLM Era

• arxiv url: http://arxiv.org/abs/2610.29196v1
• Date: Wed, 21 Oct 2026 04:38:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.206531
• Title: A Unified Evaluation Framework of Physical Adversarial Robustness in the Edge VLM Era
• Title（参考訳）: エッジVLM時代の物理対向ロバスト性の統一評価フレームワーク
• Abstract要約: VLM(Vision-Language Models)の最近の進歩により、言語プロンプトと生成復号によるエンドツーエンドの視覚グラウンド化が可能になった。 被験者に装着した対向パッチが検出から逃れるか否かを, 選択された代表モデルを1つの結果に基づいて評価した。 本研究は, 小型接地VLMの物理的脆弱性を, 対象物検出装置に対してベンチマークし, VLMが検出装置と同じくらい脆弱であることを見出した。
• 参考スコア（独自算出の注目度）: 1.2371290786182059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Vision-Language Models (VLMs) enable end-to-end visual grounding via language prompts and generative decoding, demonstrating largely improved zero-shot and open-vocabulary detection capabilities. As a result, VLMs are rapidly being deployed at the edge in safety-critical real-world systems. However, the physical adversarial robustness of edge VLMs has not been systematically studied, and the fundamental differences in output with modern object detectors create methodological challenges for fair evaluation. To compare the two families directly, we evaluate every selected representative model on one outcome: whether an adversarial patch worn on a person evades detection of the model. We report this by introducing a unified metric, conditional attack success rate (cASR), counted only on images the model still localizes under a matched gray occluder, and partition every failure into omission (no box), substitution (a box on the patch), and displacement (a box on neither). We benchmark the physical adversarial vulnerability of compact grounding VLMs against a range of object detectors, and find that the VLMs can be as vulnerable as the detectors. We disclose that failure mode is largely associated with the output format of a model rather than its architecture family. Of the three, only omission is visible to a downstream system; displacement and substitution return confident, well-formed boxes, making them potentially more dangerous failures. Further, we find that, under distribution shift, VLMs that primarily failed by omission instead shift to failing more by displacement/substitution. Thus, a grounding VLM can inherit the detector's vulnerability while showing the possibility to adopt more dangerous failure modes. Our code and data are available at https://github.com/ericliang1/physical-adversarial-robustness.
• Abstract（参考訳）: VLM(Vision-Language Models)の最近の進歩により、言語プロンプトと生成復号によるエンドツーエンドの視覚グラウンド化が可能となり、ゼロショットとオープンボキャブラリ検出機能が大幅に改善された。 結果として、VLMは安全クリティカルな現実世界システムにおいて急速にデプロイされている。 しかしながら、エッジVLMの物理的対向性は体系的に研究されておらず、現代の物体検出器による出力の基本的な違いは、公正な評価のための方法論的な課題を生み出している。 2つの家系を直接比較するため,選択された代表モデルを1つの結果に基づいて評価した。 本報告では, 統一計量, 条件付き攻撃成功率 (cASR) を導入し, モデルがまだ一致した灰色オクルーダーの下で位置決めされている画像のみにカウントし, 全ての故障を除去(箱なし), 置換(パッチなし), 変位(箱なし)に分割して報告する。 本研究は, 小型接地VLMの物理的脆弱性を, 対象物検出装置に対してベンチマークし, VLMが検出装置と同じくらい脆弱であることを見出した。 我々は、フェールモードがアーキテクチャファミリよりもモデルの出力形式に大きく関連していることを明らかにした。 3つのうち、除去は下流のシステムでしか見えず、変位と置換は自信を持って、よくできた箱を返却し、より危険な故障を引き起こす可能性がある。 さらに, 分散シフトの下では, 主に省略によって失敗するVLMが, 変位/置換により失敗する傾向にあることがわかった。 したがって、接地VLMは、より危険な障害モードを採用する可能性を示しながら、検出器の脆弱性を継承することができる。 コードとデータはhttps://github.com/ericliang1/physical-adversarial-robustnessで公開されています。

関連論文リスト

• FusionAudit: Pathway-Conditioned Robustness Auditing for Native Multimodal Models [13.095836311580102]
  本稿では,2つの画像レベルの介入に対する経路条件付きリスクを定義するエビデンスベースのフレームワークPaRMAを紹介する。 任意の攻撃列挙の代わりに、PaRMAはアーキテクチャ固有の盲点を公開するために経路固有の診断を使用する。
  論文  参考訳（メタデータ） (2026-10-15T10:49:30Z)
• REALM: A Unified Red-Teaming Benchmark for Physical-World VLMs [18.815997579213317]
  視覚言語モデル(VLM)は、安全クリティカルシステムにおけるインテリジェンスを具現化するための知覚推論バックボーンとして、ますます使われている。 VLMの脆弱性を調査するために多くのレッドチーム手法が開発されているが、その評価はデータセット、メトリクス、脅威モデルで断片化されている。 物理世界VLMのための最初の統一型赤チームベンチマークであるREALMを紹介した。
  論文  参考訳（メタデータ） (2026-06-22T19:41:57Z)
• Revealing Interpretable Failure Modes of VLMs [18.921082542641525]
  本稿では,視覚言語モデル(VLM)における解釈可能な障害モードを体系的に発見するフレームワークREVELIOを紹介する。 我々は、自動運転車や屋内ロボティクスの分野にREVELIOを適用し、これまで報告されていなかった最先端のVLMの脆弱性を明らかにした。
  論文  参考訳（メタデータ） (2026-05-12T19:25:17Z)
• Contamination Detection for VLMs using Multi-Modal Semantic Perturbation [73.76465227729818]
  オープンソースのVision-Language Models (VLM)は、ベンチマークタスクで最先端のパフォーマンスを達成した。 プレトレーニングコーパスは,テストセットリークによるパフォーマンスの低下という,実践者とユーザ双方にとって重要な懸念を提起する。 既存の検出手法が不整合性を示すか,不整合性を示すかを示す。 マルチモーダルなセマンティック摂動に基づく,新しい簡易かつ効果的な検出法を提案する。
  論文  参考訳（メタデータ） (2025-11-05T18:59:52Z)
• CeTAD: Towards Certified Toxicity-Aware Distance in Vision Language Models [16.5022773312661]
  本稿では,ジェイルブレイク攻撃に対する大規模視覚言語モデルの保護を目的とした,普遍的な認証防衛フレームワークを提案する。 まず、悪意のある応答と意図した応答のセマンティックな差異を定量化する新しい距離尺度を提案する。 そして, ランダム化スムーシングを用いて, 形式的堅牢性を保証するための回帰認証手法を考案する。
  論文  参考訳（メタデータ） (2025-03-08T17:33:55Z)
• Retention Score: Quantifying Jailbreak Risks for Vision Language Models [60.48306899271866]
  VLM(Vision-Language Models)はLarge Language Models (LLM)と統合され、マルチモーダル機械学習機能を強化する。 本研究の目的は, モデル安全コンプライアンスを損なう可能性のある脱獄攻撃に対するVLMのレジリエンスを評価し, 有害な出力をもたらすことにある。 逆入力摂動に対するVLMの頑健性を評価するために,textbfRetention Scoreと呼ばれる新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-12-23T13:05:51Z)
• Can Large Vision-Language Models Correct Semantic Grounding Errors By Themselves? [61.899791071654654]
  本稿では,視覚言語モデル(VLM)が,フィードバックの「受信」によって意味的接地を改善することができるかどうかを検討する。 適切に刺激すれば、VLMは1ステップと反復の両方でフィードバックを活用できる。 検討したすべての設定において、すべてのモデルにまたがる自動フィードバックを用いて、基底精度を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2024-04-09T17:59:04Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。