論文の概要: Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks

• arxiv url: http://arxiv.org/abs/2402.18718v1
• Date: Wed, 28 Feb 2024 21:29:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 16:40:09.754267
• Title: Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks
• Title（参考訳）: 組込み変換を用いたオープンセット分類作業における後方攻撃検出モデルペアリング
• Authors: Alexander Unnervik, Hatef Otroshi Shahreza, Anjith George, S\'ebastien Marcel
• Abstract要約: バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。 両モデルがバックドアされている場合でも,バックドアが検出可能であることを示す。
• 参考スコア（独自算出の注目度）: 51.78558228584093
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Backdoor attacks allow an attacker to embed a specific vulnerability in a machine learning algorithm, activated when an attacker-chosen pattern is presented, causing a specific misprediction. The need to identify backdoors in biometric scenarios has led us to propose a novel technique with different trade-offs. In this paper we propose to use model pairs on open-set classification tasks for detecting backdoors. Using a simple linear operation to project embeddings from a probe model's embedding space to a reference model's embedding space, we can compare both embeddings and compute a similarity score. We show that this score, can be an indicator for the presence of a backdoor despite models being of different architectures, having been trained independently and on different datasets. Additionally, we show that backdoors can be detected even when both models are backdoored. The source code is made available for reproducibility purposes.
• Abstract（参考訳）: バックドア攻撃は、攻撃者が特定の脆弱性を機械学習アルゴリズムに埋め込むことを可能にする。 生体計測シナリオにおけるバックドアの識別の必要性から,異なるトレードオフを持つ新しい手法を提案することができた。 本稿では,オープンセット分類タスクにおけるモデルペアを用いたバックドアの検出を提案する。 プローブモデルの埋め込み空間から参照モデルの埋め込み空間への埋め込みを投影する単純な線形演算を用いて、埋め込みと類似度スコアを比較することができる。 このスコアは、異なるアーキテクチャのモデルが独立して、異なるデータセットでトレーニングされているにもかかわらず、バックドアの存在を示す指標であることを示している。 また,両モデルともバックドアであってもバックドアを検知できることを示した。 ソースコードは再現性のために利用可能である。

関連論文リスト

• Exploiting the Vulnerability of Large Language Models via Defense-Aware Architectural Backdoor [0.24335447922683692]
  基盤となるモデルアーキテクチャ内に隠蔽する新しいタイプのバックドアアタックを導入します。 モデルアーキテクチャレイヤのアドオンモジュールは、入力トリガトークンの存在を検出し、レイヤの重みを変更することができる。 我々は,5つの大言語データセットの2つのモデルアーキテクチャ設定を用いて,攻撃方法を評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-09-03T14:54:16Z)
• Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
  本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。 具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。 機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
  論文  参考訳（メタデータ） (2023-05-03T20:31:13Z)
• Detecting Backdoors in Deep Text Classifiers [43.36440869257781]
  本稿では,テキスト分類モデルに対するバックドア攻撃を一般化する,最初の堅牢な防御機構を提案する。 我々の技術は、データ中毒や重毒など、最先端のバックドア攻撃に対する防御に極めて正確です。
  論文  参考訳（メタデータ） (2022-10-11T07:48:03Z)
• An anomaly detection approach for backdoored neural networks: face recognition as a case study [77.92020418343022]
  本稿では,異常検出の原理に基づく新しいバックドアネットワーク検出手法を提案する。 バックドアネットワークの新たなデータセット上で本手法を検証し,完全スコアで検出可能性について報告する。
  論文  参考訳（メタデータ） (2022-08-22T12:14:13Z)
• Architectural Backdoors in Neural Networks [27.315196801989032]
  モデルアーキテクチャの内部に隠れる新しい種類のバックドアアタックを導入します。 これらのバックドアの実装は簡単で、例えばバックドアモデルアーキテクチャ用のオープンソースコードを公開している。 私たちは、モデルアーキテクチャのバックドアが真の脅威であり、他のアプローチとは異なり、ゼロから完全な再トレーニングに耐えられることを実証しています。
  論文  参考訳（メタデータ） (2022-06-15T22:44:03Z)
• Planting Undetectable Backdoors in Machine Learning Models [14.592078676445201]
  悪意ある学習者が検出不能なバックドアを分類器に組み込む方法を示す。 適切な"バックドアキー"がなければ、そのメカニズムは隠され、計算に拘束されたオブザーバによって検出できない。 検出不能なバックドアを植え付けるための2つのフレームワークを示す。
  論文  参考訳（メタデータ） (2022-04-14T13:55:21Z)
• Check Your Other Door! Establishing Backdoor Attacks in the Frequency Domain [80.24811082454367]
  検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。 また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
  論文  参考訳（メタデータ） (2021-09-12T12:44:52Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。