論文の概要: CAT: Concept-level backdoor ATtacks for Concept Bottleneck Models

• arxiv url: http://arxiv.org/abs/2410.04823v1
• Date: Mon, 7 Oct 2024 08:14:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:47:52.513973
• Title: CAT: Concept-level backdoor ATtacks for Concept Bottleneck Models
• Title（参考訳）: CAT:コンセプトボトルネックモデルのためのコンセプトレベルのバックドアアタック
• Authors: Songning Lai, Jiayu Yang, Yu Huang, Lijie Hu, Tianlang Xue, Zhangyi Hu, Jiaxu Li, Haicheng Liao, Yutao Yue,
• Abstract要約: 概念ボトルネックモデル(CBM)は、高レベルな意味情報を活用することで、解釈可能性を改善するための重要なアプローチとして登場した。 CBMはセキュリティ上の脅威、特にモデル動作を隠蔽的に操作できるバックドア攻撃の影響を受けやすい。 CAT(Concept-level Backdoor ATtacks)は,CBM内の概念表現を利用して,トレーニング中にトリガを埋め込む手法である。 強化された攻撃パターンであるCAT+は、最も効果的でステルス的な概念トリガーを体系的に選択する相関関数を組み込んでいる。
• 参考スコア（独自算出の注目度）: 8.236058439213473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the transformative impact of deep learning across multiple domains, the inherent opacity of these models has driven the development of Explainable Artificial Intelligence (XAI). Among these efforts, Concept Bottleneck Models (CBMs) have emerged as a key approach to improve interpretability by leveraging high-level semantic information. However, CBMs, like other machine learning models, are susceptible to security threats, particularly backdoor attacks, which can covertly manipulate model behaviors. Understanding that the community has not yet studied the concept level backdoor attack of CBM, because of "Better the devil you know than the devil you don't know.", we introduce CAT (Concept-level Backdoor ATtacks), a methodology that leverages the conceptual representations within CBMs to embed triggers during training, enabling controlled manipulation of model predictions at inference time. An enhanced attack pattern, CAT+, incorporates a correlation function to systematically select the most effective and stealthy concept triggers, thereby optimizing the attack's impact. Our comprehensive evaluation framework assesses both the attack success rate and stealthiness, demonstrating that CAT and CAT+ maintain high performance on clean data while achieving significant targeted effects on backdoored datasets. This work underscores the potential security risks associated with CBMs and provides a robust testing methodology for future security assessments.
• Abstract（参考訳）: 複数のドメインにわたるディープラーニングの変革的な影響にもかかわらず、これらのモデルの本質的な不透明さは、説明可能な人工知能(XAI)の開発を促した。 これらの取り組みの中で、高レベルの意味情報を活用することで解釈可能性を改善するための重要なアプローチとして、Concept Bottleneck Models (CBM) が登場している。 しかし、他の機械学習モデルと同様、CBMはセキュリティの脅威、特にモデル動作を隠蔽的に操作できるバックドア攻撃の影響を受けやすい。 我々はCAT(Concept-level Backdoor ATtacks)を導入し、CBM内の概念表現を活用してトレーニング中にトリガを埋め、推論時にモデル予測の制御を可能にする方法論を紹介します。 強化された攻撃パターンであるCAT+は相関関数を導入し、最も効果的でステルス的な概念トリガーを体系的に選択することで、攻撃の影響を最適化する。 包括的評価フレームワークは攻撃成功率とステルスネスの両方を評価し、CATとCAT+がクリーンデータ上で高いパフォーマンスを維持しつつ、バックドアデータセットに重要なターゲット効果を達成していることを示した。 この研究は、CBMに関連する潜在的なセキュリティリスクを強調し、将来のセキュリティアセスメントのための堅牢なテスト方法論を提供する。

関連論文リスト

• A Practical Trigger-Free Backdoor Attack on Neural Networks [33.426207982772226]
  トレーニングデータへのアクセスを必要としないトリガーフリーのバックドア攻撃を提案する。 具体的には、悪意のあるデータの概念を攻撃者特定クラスの概念に組み込んだ、新しい微調整アプローチを設計する。 提案した攻撃の有効性,実用性,ステルスネスを実世界の3つのデータセットで評価した。
  論文  参考訳（メタデータ） (2024-08-21T08:53:36Z)
• PsybORG+: Modeling and Simulation for Detecting Cognitive Biases in Advanced Persistent Threats [10.161416622040722]
  PsybORG$+$は、認知的脆弱性に影響されたAPTの振る舞いをモデル化するために設計されたマルチエージェントのサイバーセキュリティシミュレーション環境である。 分類モデルは認知的脆弱性推論のために構築され、シミュレータは合成データ生成のために設計されている。 PsybORG$+$は、損失回避と確認バイアスレベルが異なるAPT攻撃者を効果的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2024-08-02T15:00:58Z)
• Mellivora Capensis: A Backdoor-Free Training Framework on the Poisoned Dataset without Auxiliary Data [29.842087372804905]
  本稿では,現実シナリオにおけるバックドア攻撃対策の課題について述べる。 本稿では,モデルトレーナーが有毒なデータセット上でクリーンなモデルをトレーニングできるようにする,堅牢でクリーンなデータのないバックドア防御フレームワークであるMellivora Capensis(textttMeCa)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T12:20:19Z)
• The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks [90.52808174102157]
  医療画像や自律運転などの安全クリティカルな応用においては、高い敵の堅牢性を維持し、潜在的敵の攻撃から保護することが不可欠である。 敵対的に訓練されたモデルに固有の不確実性に関して、注目すべき知識ギャップが残っている。 本研究では,共形予測(CP)の性能を標準対向攻撃の文脈で検証することにより,ディープラーニングモデルの不確実性について検討する。
  論文  参考訳（メタデータ） (2024-05-14T18:05:19Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Here's a Free Lunch: Sanitizing Backdoored Models with Model Merge [17.3048898399324]
  オープンソースイニシアチブによる事前訓練された言語モデルの民主化は、急速に革新と最先端技術へのアクセスを拡大している。 特定の入力によって隠れた悪意のある振る舞いが引き起こされ、自然言語処理(NLP)システムの完全性と信頼性を損なうバックドア攻撃。 本稿では,バックドアモデルと他の同質モデルとを組み合わせることで,バックドアの脆弱性を著しく改善することができることを示唆する。
  論文  参考訳（メタデータ） (2024-02-29T16:37:08Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Boosting Black-Box Attack with Partially Transferred Conditional Adversarial Distribution [83.02632136860976]
  深層ニューラルネットワーク(DNN)に対するブラックボックス攻撃の研究 我々は, 代理バイアスに対して頑健な, 対向移動可能性の新たなメカニズムを開発する。 ベンチマークデータセットの実験と実世界のAPIに対する攻撃は、提案手法の優れた攻撃性能を示す。
  論文  参考訳（メタデータ） (2020-06-15T16:45:27Z)
• Stochastic Security: Adversarial Defense Using Long-Run Dynamics of Energy-Based Models [82.03536496686763]
  敵対的攻撃に対するディープ・ネットワークの脆弱性は、認識とセキュリティの両方の観点から、ディープ・ラーニングの中心的な問題である。 我々は,自然学習型分類器の保護に重点を置き,マルコフ・チェイン・モンテカルロ (MCMC) とエネルギーベースモデル (EBM) を併用して敵の浄化を行った。 本研究は,1)現実的な長期MCMCサンプルを用いたEMMの訓練方法の改善,2)防衛の理論的曖昧さを解消する期待・オフバー・トランスフォーメーション(EOT)ディフェンス,3)自然に訓練された分類器と競争的ディフェンスのための最先端の対人ディフェンス,である。
  論文  参考訳（メタデータ） (2020-05-27T17:53:36Z)
• Adversarial vs behavioural-based defensive AI with joint, continual and active learning: automated evaluation of robustness to deception, poisoning and concept drift [62.997667081978825]
  人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。 本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
  論文  参考訳（メタデータ） (2020-01-13T13:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。