論文の概要: Trojan Cleansing with Neural Collapse

• arxiv url: http://arxiv.org/abs/2411.12914v1
• Date: Tue, 19 Nov 2024 22:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:32.769637
• Title: Trojan Cleansing with Neural Collapse
• Title（参考訳）: 神経崩壊によるトロイの木馬の清掃
• Authors: Xihe Gu, Greg Fields, Yaman Jandali, Tara Javidi, Farinaz Koushanfar,
• Abstract要約: トロイの木馬攻撃は、バックドアトリガーを埋め込んだニューラルネットワークに対する高度な訓練時間攻撃である。 トロイの木馬攻撃が様々なデータセットやアーキテクチャのこの収束を阻害する実験的な証拠を提供する。 次に、この破壊を利用して、トロイの木馬攻撃を浄化するための軽量で広く一般化可能なメカニズムを設計する。
• 参考スコア（独自算出の注目度）: 18.160116254921608
• License:
• Abstract: Trojan attacks are sophisticated training-time attacks on neural networks that embed backdoor triggers which force the network to produce a specific output on any input which includes the trigger. With the increasing relevance of deep networks which are too large to train with personal resources and which are trained on data too large to thoroughly audit, these training-time attacks pose a significant risk. In this work, we connect trojan attacks to Neural Collapse, a phenomenon wherein the final feature representations of over-parameterized neural networks converge to a simple geometric structure. We provide experimental evidence that trojan attacks disrupt this convergence for a variety of datasets and architectures. We then use this disruption to design a lightweight, broadly generalizable mechanism for cleansing trojan attacks from a wide variety of different network architectures and experimentally demonstrate its efficacy.
• Abstract（参考訳）: トロイの木馬攻撃は、ニューラルネットワークに対する高度な訓練時間攻撃であり、バックドアトリガーを埋め込んで、トリガーを含む任意の入力に対して特定の出力を生成する。 個人リソースでトレーニングするには大きすぎるし、徹底的に監査するには大きすぎるデータでトレーニングされるディープネットワークの関連性が高まっているため、これらのトレーニングタイムアタックは重大なリスクを負う。 本研究では、トロイの木馬攻撃をニューラル・コラプス(Neural Collapse)に接続する。これは、過パラメータ化されたニューラルネットワークの最終的な特徴表現が単純な幾何学的構造に収束する現象である。 トロイの木馬攻撃が様々なデータセットやアーキテクチャのこの収束を阻害する実験的な証拠を提供する。 次に、このディスラプションを用いて、様々なネットワークアーキテクチャからトロヤ攻撃を除去する軽量で広く一般化可能なメカニズムを設計し、その効果を実験的に実証する。

関連論文リスト

• A Survey of Trojan Attacks and Defenses to Deep Neural Networks [3.9444202574850755]
  ディープニューラルネットワーク(DNN)は、安全クリティカルな人工知能システムに広範囲に応用されている。 最近の研究では、敵から悪意ある注射を受けたニューラルネットワークトロイの木馬(NNトロイの木馬)への感受性が明らかにされている。
  論文  参考訳（メタデータ） (2024-08-15T04:20:32Z)
• FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
  バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。 FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
  論文  参考訳（メタデータ） (2023-02-28T11:31:29Z)
• Dormant Neural Trojans [6.8722427980580445]
  本稿では,ニューラルネットワークのバックドア攻撃に対する新しい手法を提案する。 トロイの木馬ネットワークが訓練後にトロイの木馬のトリガーに応答する既存の訓練時間攻撃とは異なり、我々のアプローチではトロイの木馬が活性化するまで休眠状態のままである。
  論文  参考訳（メタデータ） (2022-11-02T16:06:46Z)
• Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free [126.15842954405929]
  トロイの木馬攻撃はディープニューラルネットワーク(DNN)を脅かし、ほとんどのサンプルで正常に動作させるが、トリガーを付けた入力に対して操作された結果を生成する。 そこで我々は,まず,クリーンな入力において,ほぼ完全なトロイの木馬の情報のみを保存し,かつ,すでに孤立しているサブネットワークに埋め込まれたトリガを復元する,新しいトロイの木馬ネットワーク検出方式を提案する。
  論文  参考訳（メタデータ） (2022-05-24T06:33:31Z)
• Trojan Signatures in DNN Weights [20.93172486021463]
  トレーニング/テストデータへのアクセスを必要としない,最初の超軽量かつ高効率なトロイの木馬検出手法を提案する。 本手法は, ネットワークの最終線形層の重み解析に着目する。 トロイの木的対象クラスに関連する重みの分布は、他のクラスに関連する重みと明確に区別可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T03:07:03Z)
• Topological Detection of Trojaned Neural Networks [10.559903139528252]
  トロイの木馬攻撃は、攻撃者がモデルの動きを密かに操作する際に起こる。 トロイの木馬模型を特徴付ける微妙な構造偏差が見つかる。 トロイの木馬モデルのロバスト検出のための戦略を考案する。
  論文  参考訳（メタデータ） (2021-06-11T15:48:16Z)
• Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases [87.69818690239627]
  本稿では,データスカース方式におけるトロイの木馬ネットワーク(トロイの木馬網)検出の問題点について検討する。 本稿では,データ限定型TrojanNet検出器(TND)を提案する。 さらに,データサンプルにアクセスせずにTrojanNetを検出できるデータフリーTNDを提案する。
  論文  参考訳（メタデータ） (2020-07-31T02:00:38Z)
• Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
  多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。 本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。 本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
  論文  参考訳（メタデータ） (2020-07-28T19:00:40Z)
• Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
  トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。 既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。 そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
  論文  参考訳（メタデータ） (2020-07-16T06:55:00Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。