論文の概要: Fine-tuning is Not Fine: Mitigating Backdoor Attacks in GNNs with Limited Clean Data

• arxiv url: http://arxiv.org/abs/2501.05835v1
• Date: Fri, 10 Jan 2025 10:16:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:37.026999
• Title: Fine-tuning is Not Fine: Mitigating Backdoor Attacks in GNNs with Limited Clean Data
• Title（参考訳）: GNNのバックドア攻撃を、限られたクリーンデータで軽減する「ファインチューニング」
• Authors: Jiale Zhang, Bosen Rao, Chengcheng Zhu, Xiaobing Sun, Qingming Li, Haibo Hu, Xiapu Luo, Qingqing Ye, Shouling Ji,
• Abstract要約: グラフニューラルネットワーク(GNN)は,メッセージパッシング機構を通じて,優れたパフォーマンスを実現している。 最近の研究は、GNNのバックドア攻撃に対する脆弱性を強調している。 本稿では,実践的なバックドア緩和フレームワークである GraphNAD を提案する。
• 参考スコア（独自算出の注目度）: 51.745219224707384
• License:
• Abstract: Graph Neural Networks (GNNs) have achieved remarkable performance through their message-passing mechanism. However, recent studies have highlighted the vulnerability of GNNs to backdoor attacks, which can lead the model to misclassify graphs with attached triggers as the target class. The effectiveness of recent promising defense techniques, such as fine-tuning or distillation, is heavily contingent on having comprehensive knowledge of the sufficient training dataset. Empirical studies have shown that fine-tuning methods require a clean dataset of 20% to reduce attack accuracy to below 25%, while distillation methods require a clean dataset of 15%. However, obtaining such a large amount of clean data is commonly impractical. In this paper, we propose a practical backdoor mitigation framework, denoted as GRAPHNAD, which can capture high-quality intermediate-layer representations in GNNs to enhance the distillation process with limited clean data. To achieve this, we address the following key questions: How to identify the appropriate attention representations in graphs for distillation? How to enhance distillation with limited data? By adopting the graph attention transfer method, GRAPHNAD can effectively align the intermediate-layer attention representations of the backdoored model with that of the teacher model, forcing the backdoor neurons to transform into benign ones. Besides, we extract the relation maps from intermediate-layer transformation and enforce the relation maps of the backdoored model to be consistent with that of the teacher model, thereby ensuring model accuracy while further reducing the influence of backdoors. Extensive experimental results show that by fine-tuning a teacher model with only 3% of the clean data, GRAPHNAD can reduce the attack success rate to below 5%.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,メッセージパッシング機構を通じて,優れたパフォーマンスを実現している。 しかし、最近の研究では、GNNがバックドアアタックに対する脆弱性を強調しており、それによって、アタッチされたトリガをターゲットクラスとしてグラフを誤分類する可能性がある。 微調整や蒸留といった近年の有望な防衛技術の有効性は、十分な訓練データセットの包括的知識を持つことに大きく依存している。 実験的な研究によると、精密チューニング法は攻撃精度を25%以下に抑えるために20%のクリーンデータセットを必要とし、蒸留法は15%のクリーンデータセットを必要とする。 しかし、このような大量のクリーンデータを取得することは、一般的には非現実的である。 本稿では,GNNにおける高品質な中間層表現を捕捉し,清浄なデータしか持たない蒸留プロセスを改善する,実践的なバックドア緩和フレームワークである GraphNAD を提案する。 これを達成するために、我々は以下の重要な疑問に対処する: 蒸留のためのグラフにおける適切な注意表現をどうやって特定するか? 限られたデータで蒸留を改善するには? グラフアテンション伝達法を採用することにより、GraphNADはバックドアモデルの中間層アテンション表現と教師モデルのアテンション表現を効果的に整合させ、バックドアニューロンを良質なニューロンに変換する。 さらに,中間層変換から関係マップを抽出し,教師モデルと整合するバックドアモデルの関係マップを強制することにより,バックドアの影響をさらに低減しつつモデル精度を確保する。 大規模な実験結果から、クリーンデータのわずか3%で教師モデルを微調整することにより、 GraphNADは攻撃成功率を5%以下に抑えることができることがわかった。

関連論文リスト

• Can Graph Neural Networks Expose Training Data Properties? An Efficient Risk Assessment Approach [37.84933964582224]
  本研究では,共有モデルから機密性情報漏洩のリスクを特定するため,グラフ特性推定攻撃について検討する。 本手法では,攻撃に対して十分な数の近似影モデルを生成すると同時に,グラフ上の少数のモデルセットを訓練することしか必要としない。
  論文  参考訳（メタデータ） (2024-11-06T04:44:51Z)
• GraphGuard: Detecting and Counteracting Training Data Misuse in Graph Neural Networks [69.97213941893351]
  グラフデータ分析におけるグラフニューラルネットワーク(GNN)の出現は、モデルトレーニング中のデータ誤用に関する重要な懸念を引き起こしている。 既存の手法は、データ誤用検出または緩和のいずれかに対応しており、主にローカルGNNモデル用に設計されている。 本稿では,これらの課題に対処するため,GraphGuardという先駆的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-12-13T02:59:37Z)
• Mirage: Model-Agnostic Graph Distillation for Graph Classification [16.764894668661952]
  グラフ蒸留は、元のトレーニングデータからより小さな合成トレーニングセットを構築するための試みである。 Mirageは、メッセージパスGNNが入力グラフを複数の計算ツリーに分解する、という洞察に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-10-14T04:21:52Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Resisting Graph Adversarial Attack via Cooperative Homophilous Augmentation [60.50994154879244]
  最近の研究では、グラフニューラルネットワークは弱く、小さな摂動によって簡単に騙されることが示されている。 本研究では,グラフインジェクションアタック(Graph Injection Attack)という,新興だが重要な攻撃に焦点を当てる。 本稿では,グラフデータとモデルの協調的同好性増強によるGIAに対する汎用防衛フレームワークCHAGNNを提案する。
  論文  参考訳（メタデータ） (2022-11-15T11:44:31Z)
• A Graph Data Augmentation Strategy with Entropy Preserving [11.886325179121226]
  本稿では,グラフ間の特徴情報を評価するための定量的指標として,新しいグラフエントロピー定義を提案する。 グラフエントロピーの保存を考慮し、摂動機構を用いてトレーニングデータを生成する効果的な方法を提案する。 提案手法はトレーニング過程におけるGCNの堅牢性と一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-13T12:58:32Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。