論文の概要: Distill to Delete: Unlearning in Graph Networks with Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2309.16173v2
• Date: Sat, 8 Jun 2024 06:50:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 05:07:26.457783
• Title: Distill to Delete: Unlearning in Graph Networks with Knowledge Distillation
• Title（参考訳）: Distill to Delete: 知識蒸留によるグラフネットワークの非学習
• Authors: Yash Sinha, Murari Mandal, Mohan Kankanhalli,
• Abstract要約: グラフアンラーニングは、事前学習されたグラフニューラルネットワーク(GNN)から情報を削除するための重要な方法である 我々の研究は、知識蒸留によるグラフアンラーニングにおけるこれらの課題に、GNN(D2DGN)で除去する新たなアプローチを採っている。 D2DGNは、エッジおよびノードアンラーニングタスクにおいて、様々な実世界のグラフデータセットで評価された場合、既存のメソッドのパフォーマンスを最大43.1%(AUC)まで上回る。
• 参考スコア（独自算出の注目度）: 10.335361310419826
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Graph unlearning has emerged as a pivotal method to delete information from a pre-trained graph neural network (GNN). One may delete nodes, a class of nodes, edges, or a class of edges. An unlearning method enables the GNN model to comply with data protection regulations (i.e., the right to be forgotten), adapt to evolving data distributions, and reduce the GPU-hours carbon footprint by avoiding repetitive retraining. Existing partitioning and aggregation-based methods have limitations due to their poor handling of local graph dependencies and additional overhead costs. More recently, GNNDelete offered a model-agnostic approach that alleviates some of these issues. Our work takes a novel approach to address these challenges in graph unlearning through knowledge distillation, as it distills to delete in GNN (D2DGN). It is a model-agnostic distillation framework where the complete graph knowledge is divided and marked for retention and deletion. It performs distillation with response-based soft targets and feature-based node embedding while minimizing KL divergence. The unlearned model effectively removes the influence of deleted graph elements while preserving knowledge about the retained graph elements. D2DGN surpasses the performance of existing methods when evaluated on various real-world graph datasets by up to $43.1\%$ (AUC) in edge and node unlearning tasks. Other notable advantages include better efficiency, better performance in removing target elements, preservation of performance for the retained elements, and zero overhead costs. Notably, our D2DGN surpasses the state-of-the-art GNNDelete in AUC by $2.4\%$, improves membership inference ratio by $+1.3$, requires $10.2\times10^6$ fewer FLOPs per forward pass and up to $\mathbf{3.2}\times$ faster.
• Abstract（参考訳）: グラフアンラーニングは、事前訓練されたグラフニューラルネットワーク(GNN)から情報を削除するための重要な方法として登場した。 ノード、ノードのクラス、エッジ、エッジのクラスを削除できる。 アンラーニング方式により、GNNモデルはデータ保護規則(すなわち、忘れられる権利)に準拠し、進化するデータ分布に適応し、繰り返しのリトレーニングを避けることにより、GPU時間炭素フットプリントを削減することができる。 既存のパーティショニングとアグリゲーションベースのメソッドには、ローカルグラフ依存の扱いが貧弱であることと、オーバーヘッドコストの増大による制限がある。 最近では、GNNDeleteはこれらの問題を緩和するモデルに依存しないアプローチを提供している。 我々の研究は、GNN(D2DGN)において、知識蒸留によるグラフアンラーニングにおけるこれらの課題に対処するために、新しいアプローチを採っている。 完全なグラフ知識が分割され、保持と削除のためにマークされる、モデルに依存しない蒸留フレームワークである。 KL分散を最小化しつつ、応答ベースのソフトターゲットと特徴ベースのノード埋め込みで蒸留を行う。 未学習モデルは、保持されたグラフ要素に関する知識を保持しながら、削除されたグラフ要素の影響を効果的に除去する。 D2DGNは、エッジおよびノードアンラーニングタスクにおいて、様々な実世界のグラフデータセットで最大43.1\%(AUC)の評価を行う際に、既存のメソッドのパフォーマンスを上回る。 その他の注目すべきメリットは、効率の向上、ターゲット要素の削除におけるパフォーマンスの向上、保持された要素のパフォーマンスの維持、オーバーヘッドコストのゼロである。 D2DGN は AUC の最先端 GNNDelete を 2.4 %$ で上回り、メンバーシップ推論比を+1.3$ で改善し、転送パスあたり 10.2\times10^6$ で FLOP を減らし、最大$\mathbf{3.2}\times$ で高速化します。

関連論文リスト

• Graph Unlearning with Efficient Partial Retraining [28.433619085748447]
  グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで顕著な成功を収めている。 GNNは、望ましくないグラフデータに基づいてトレーニングされ、パフォーマンスと信頼性を低下させることができる。 学習不能なGNNのモデルユーティリティをよりよく維持するグラフアンラーニングフレームワークであるGraphRevokerを提案する。
  論文  参考訳（メタデータ） (2024-03-12T06:22:10Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• GNNDelete: A General Strategy for Unlearning in Graph Neural Networks [17.803840691445906]
  グラフアンラーニングには、ノード、ノードラベル、トレーニングされたグラフニューラルネットワーク(GNN)モデルからのリレーションなどのグラフ要素の削除が含まれる。 GNNDeleteは、2つの重要な特性、すなわちDeleted Edge ConsistencyとNeighborhood Influenceを最適化する新しいモデル非依存層演算子である。 GNNDeleteは、エッジ、ノード、ノードの特徴削除タスクで38.8%(AUC)、削除されたエッジと非削除されたエッジを区別する32.2%で、既存のアプローチを上回っている。
  論文  参考訳（メタデータ） (2023-02-26T21:04:53Z)
• Are All Edges Necessary? A Unified Framework for Graph Purification [6.795209119198288]
  グラフのすべてのエッジが機械学習モデルのトレーニングに必要ではない。 本稿では,新たな視点からグラフデータを浄化するために,エッジをドロップする手法を提案する。
  論文  参考訳（メタデータ） (2022-11-09T20:28:25Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
  実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。 本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
  論文  参考訳（メタデータ） (2021-08-16T04:20:09Z)
• Hierarchical Representation Learning in Graph Neural Networks with Node Decimation Pooling [31.812988573924674]
  グラフニューラルネットワーク(GNN)では、プール演算子は入力グラフの局所的な要約を計算し、そのグローバルな特性をキャプチャする。 グラフトポロジ全体を保存しながら粗いグラフを生成するGNNのためのプール演算子であるNode Decimation Pooling (NDP)を提案する。 NDPは、最先端のグラフプーリング演算子よりも効率的であり、同時に、様々なグラフ分類タスクにおける競合性能にも達する。
  論文  参考訳（メタデータ） (2019-10-24T21:42:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。