論文の概要: One Object, Multiple Lies: A Benchmark for Cross-task Adversarial Attack on Unified Vision-Language Models

• arxiv url: http://arxiv.org/abs/2507.07709v1
• Date: Thu, 10 Jul 2025 12:40:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.399133
• Title: One Object, Multiple Lies: A Benchmark for Cross-task Adversarial Attack on Unified Vision-Language Models
• Title（参考訳）: 一つの対象、複数の嘘: 統一ビジョンランゲージモデルにおけるクロスタスク・アタックのベンチマーク
• Authors: Jiale Zhao, Xinyang Jiang, Junyao Gao, Yuhao Xue, Cairong Zhao,
• Abstract要約: 統一視覚言語モデル(VLM)は、共有計算アーキテクチャ内の様々な命令を通して様々なタスクに対処することができる。 敵の入力は、同じ悪意のあるコンテンツを処理するために予測不能に適用される可能性のある複数のタスク命令に対して有効でなければならない。 本稿では,統合VLMに対するクロスタスク攻撃を評価するためのベンチマークデータセットであるCrossVLADを紹介する。
• 参考スコア（独自算出の注目度）: 19.705340191553496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified vision-language models(VLMs) have recently shown remarkable progress, enabling a single model to flexibly address diverse tasks through different instructions within a shared computational architecture. This instruction-based control mechanism creates unique security challenges, as adversarial inputs must remain effective across multiple task instructions that may be unpredictably applied to process the same malicious content. In this paper, we introduce CrossVLAD, a new benchmark dataset carefully curated from MSCOCO with GPT-4-assisted annotations for systematically evaluating cross-task adversarial attacks on unified VLMs. CrossVLAD centers on the object-change objective-consistently manipulating a target object's classification across four downstream tasks-and proposes a novel success rate metric that measures simultaneous misclassification across all tasks, providing a rigorous evaluation of adversarial transferability. To tackle this challenge, we present CRAFT (Cross-task Region-based Attack Framework with Token-alignment), an efficient region-centric attack method. Extensive experiments on Florence-2 and other popular unified VLMs demonstrate that our method outperforms existing approaches in both overall cross-task attack performance and targeted object-change success rates, highlighting its effectiveness in adversarially influencing unified VLMs across diverse tasks.
• Abstract（参考訳）: 統一視覚言語モデル(VLM)は近年顕著な進歩を見せており、単一のモデルが共有計算アーキテクチャ内で異なる命令によって様々なタスクを柔軟に処理できるようになっている。 この命令ベースの制御機構は、同一の悪意のあるコンテンツを処理するために、予測不能に適用される可能性のある複数のタスク命令に対して、敵の入力が有効でなければならないため、ユニークなセキュリティ課題を生み出す。 本稿では,汎用VLMに対するクロスタスク攻撃を体系的に評価するためのGPT-4アノテーションを用いて,MSCOCOから慎重にキュレートされた新しいベンチマークデータセットであるCrossVLADを紹介する。 CrossVLADは、4つの下流タスクにまたがる対象オブジェクトの分類を客観的に操作するオブジェクト変更中心であり、全てのタスクを同時に分類し、敵の移動可能性の厳密な評価を提供する新しい成功率指標を提案する。 この課題に対処するために,効率的な地域中心攻撃手法であるCRAFT(Cross-task Region-based Attack Framework with Token-アライメント)を提案する。 フローレンス2や他の一般的な統合VLMの広範な実験により、我々の手法は、クロスタスク攻撃性能と目標オブジェクト変更成功率の両方において、既存のアプローチよりも優れており、その効果が多様なタスクにまたがる統一VLMに逆らうことを明らかにする。

関連論文リスト

• Exploring the Limits of Vision-Language-Action Manipulations in Cross-task Generalization [19.32522292907096]
  AGNOSTOSは、操作においてクロスタスクゼロショットの一般化を厳格に評価するために設計された新しいシミュレーションベンチマークである。 X-ICMは、コンテキスト内デモで大きな言語モデルを条件付け、目に見えないタスクに対するアクションシーケンスを予測する手法である。 我々はAGNOSTOSとX-ICMが汎用的なロボット操作を促進する貴重なツールになると信じている。
  論文  参考訳（メタデータ） (2025-05-21T15:35:57Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Adversarial Robustness for Visual Grounding of Multimodal Large Language Models [49.71757071535619]
  MLLM(Multi-modal Large Language Models)は近年,様々な視覚言語タスクのパフォーマンス向上を実現している。 MLLMでは、視覚的グラウンドリングの対角的堅牢性は未発見のままである。 本稿では,次の3つの攻撃パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-05-16T10:54:26Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Multi-Task Models Adversarial Attacks [25.834775498006657]
  マルチタスク学習はマルチタスクモデルとして知られる特異モデルを開発し、複数のタスクを同時に実行する。 シングルタスクモデルのセキュリティは徹底的に研究されているが、マルチタスクモデルはいくつかの重要なセキュリティ問題を引き起こす。 本稿では,これらの質問に対して,詳細な分析と厳密な実験を通じて対処する。
  論文  参考訳（メタデータ） (2023-05-20T03:07:43Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。