論文の概要: Attacking Attention of Foundation Models Disrupts Downstream Tasks

• arxiv url: http://arxiv.org/abs/2506.05394v2
• Date: Mon, 09 Jun 2025 09:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 14:13:04.152954
• Title: Attacking Attention of Foundation Models Disrupts Downstream Tasks
• Title（参考訳）: ファンデーションモデルのアタックアテンションがダウンストリームタスクを混乱させる
• Authors: Hondamunige Prasanna Silva, Federico Becattini, Lorenzo Seidenari,
• Abstract要約: ファンデーションモデルは大規模なモデルであり、多くの下流タスクで高い精度を提供する広範囲なデータに基づいて訓練されている。 これらのモデルは敵の攻撃に弱い。 本稿では,CLIP と ViT に着目した視覚基盤モデルの脆弱性について検討する。 タスクに依存しない方法でトランスフォーマーアーキテクチャの構造をターゲットとした,新たな攻撃手法を提案する。
• 参考スコア（独自算出の注目度）: 11.538345159297839
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models represent the most prominent and recent paradigm shift in artificial intelligence. Foundation models are large models, trained on broad data that deliver high accuracy in many downstream tasks, often without fine-tuning. For this reason, models such as CLIP , DINO or Vision Transfomers (ViT), are becoming the bedrock of many industrial AI-powered applications. However, the reliance on pre-trained foundation models also introduces significant security concerns, as these models are vulnerable to adversarial attacks. Such attacks involve deliberately crafted inputs designed to deceive AI systems, jeopardizing their reliability. This paper studies the vulnerabilities of vision foundation models, focusing specifically on CLIP and ViTs, and explores the transferability of adversarial attacks to downstream tasks. We introduce a novel attack, targeting the structure of transformer-based architectures in a task-agnostic fashion. We demonstrate the effectiveness of our attack on several downstream tasks: classification, captioning, image/text retrieval, segmentation and depth estimation. Code available at:https://github.com/HondamunigePrasannaSilva/attack-attention
• Abstract（参考訳）: ファンデーションモデルは、人工知能の最も顕著で最近のパラダイムシフトを表している。 ファンデーションモデルは大規模なモデルであり、広範囲なデータに基づいて訓練され、多くの下流タスクにおいて、細調整なしで高い精度を提供する。 このため、CLIP、DINO、Vision Transfomers(ViT)といったモデルが、多くの産業用AIベースのアプリケーションの基盤となっている。 しかし、事前訓練された基礎モデルへの依存は、これらのモデルが敵の攻撃に対して脆弱であるため、重大なセキュリティ上の懸念をもたらす。 このような攻撃には、AIシステムを騙すように設計された意図的な入力が伴い、その信頼性を損なう。 本稿では,CLIPとViTに着目した視覚基盤モデルの脆弱性を調査し,下流タスクへの敵攻撃の伝達可能性について検討する。 タスクに依存しない方法でトランスフォーマーアーキテクチャの構造をターゲットとした,新たな攻撃手法を提案する。 本稿では,分類,キャプション,画像・テキスト検索,セグメンテーション,深度推定など,下流タスクに対する攻撃の有効性を示す。 code available at:https://github.com/HondamunigePrasannaSilva/ attack-attention

関連論文リスト

• Task-Agnostic Attacks Against Vision Foundation Models [12.487589700031661]
  機械学習の実践者が利用可能なトレーニング済みのビジョン基礎モデルを採用するのが、標準のプラクティスになっている。 このような基盤モデルに対する攻撃の研究と、複数の下流タスクに対するその影響は、いまだに明らかにされていない。 本研究は,基本モデルを用いて得られた特徴表現を極大に破壊することにより,タスク非依存の敵例を定式化する汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-05T19:15:14Z)
• Concealed Adversarial attacks on neural networks for sequential data [2.1879059908547482]
  我々は、異なる時系列モデルに対する隠れた敵攻撃を開発する。 より現実的な摂動を提供し、人間またはモデル判別器によって検出するのが困難である。 この結果から,堅牢な時系列モデルを設計する上での課題が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-02-28T11:03:32Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Improving the Robustness of Object Detection and Classification AI models against Adversarial Patch Attacks [2.963101656293054]
  我々は攻撃手法を解析し、堅牢な防御手法を提案する。 我々は,物体形状,テクスチャ,位置を利用する逆パッチ攻撃を用いて,モデル信頼度を20%以上下げることに成功した。 敵攻撃にも拘わらず,本手法はモデルレジリエンスを著しく向上させ,高精度かつ信頼性の高いローカライゼーションを実現している。
  論文  参考訳（メタデータ） (2024-03-04T13:32:48Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• Adversarial Attacks on Foundational Vision Models [6.5530318775587]
  大規模で事前訓練されたタスクに依存しない基本的なビジョンモデルの開発において、急速な進歩が進んでいる。 これらのモデルは下流で微調整される必要はなく、単にゼロショットや軽量なプローブヘッドで使用できる。 この研究の目的は、将来の設計をより堅牢にするために、これらのモデルのいくつかの主要な敵対的脆弱性を特定することである。
  論文  参考訳（メタデータ） (2023-08-28T14:09:02Z)
• MF-CLIP: Leveraging CLIP as Surrogate Models for No-box Adversarial Attacks [65.86360607693457]
  敵に事前の知識がないノンボックス攻撃は、実際的な関連性にもかかわらず、比較的過小評価されている。 本研究は,大規模ビジョン・ランゲージ・モデル(VLM)をノンボックス・アタックの実行のための代理モデルとして活用するための体系的な研究である。 理論的および実証的な分析により,バニラCLIPを直接サロゲートモデルとして適用するための識別能力の不足に起因するno-boxアタックの実行に重要な制限があることが判明した。 MF-CLIP(MF-CLIP: MF-CLIP)はCLIPのサロゲートモデルとしての有効性を高める新しいフレームワークである。
  論文  参考訳（メタデータ） (2023-07-13T08:10:48Z)
• Attack-SAM: Towards Attacking Segment Anything Model With Adversarial Examples [68.5719552703438]
  Segment Anything Model (SAM) は、様々なダウンストリームタスクにおける印象的なパフォーマンスのために、最近大きな注目を集めている。 深い視覚モデルは敵の例に弱いと広く認識されており、それはモデルを騙して知覚不能な摂動で間違った予測をする。 この研究は、SAMの攻撃方法に関する総合的な調査を敵対的な例で実施した最初のものである。
  論文  参考訳（メタデータ） (2023-05-01T15:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。