論文の概要: Unlearning Nonlinear Graph Classifiers in the Limited Training Data Regime

• arxiv url: http://arxiv.org/abs/2211.03216v1
• Date: Sun, 6 Nov 2022 20:46:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 19:01:29.720697
• Title: Unlearning Nonlinear Graph Classifiers in the Limited Training Data Regime
• Title（参考訳）: 制限トレーニングデータレジームにおける非学習非線形グラフ分類器
• Authors: Chao Pan, Eli Chien, Olgica Milenkovic
• Abstract要約: 制御されたデータ削除は、ソーシャルネットワークやレコメンダシステムのようなWebアプリケーションのための機械学習モデルの重要な特徴である。 グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。 我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。 第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。
• 参考スコア（独自算出の注目度）: 39.29148804411811
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As the demand for user privacy grows, controlled data removal (machine unlearning) is becoming an important feature of machine learning models for data-sensitive Web applications such as social networks and recommender systems. Nevertheless, at this point it is still largely unknown how to perform efficient machine unlearning of graph neural networks (GNNs); this is especially the case when the number of training samples is small, in which case unlearning can seriously compromise the performance of the model. To address this issue, we initiate the study of unlearning the Graph Scattering Transform (GST), a mathematical framework that is efficient, provably stable under feature or graph topology perturbations, and offers graph classification performance comparable to that of GNNs. Our main contribution is the first known nonlinear approximate graph unlearning method based on GSTs. Our second contribution is a theoretical analysis of the computational complexity of the proposed unlearning mechanism, which is hard to replicate for deep neural networks. Our third contribution are extensive simulation results which show that, compared to complete retraining of GNNs after each removal request, the new GST-based approach offers, on average, a $10.38$x speed-up and leads to a $2.6$% increase in test accuracy during unlearning of $90$ out of $100$ training graphs from the IMDB dataset ($10$% training ratio).
• Abstract（参考訳）: ユーザのプライバシの需要が増大するにつれて、ソーシャルネットワークやレコメンダシステムといったデータに敏感なWebアプリケーションのための機械学習モデルにおいて、制御されたデータ削除(マシンアンラーニング)が重要な機能になりつつある。 しかしながら、現時点でグラフニューラルネットワーク(GNN)の効率的なマシンアンラーニングの実行方法はほとんど不明であり、特にトレーニングサンプルの数が少ない場合には、未学習がモデルの性能を著しく損なう可能性がある。 この問題に対処するため,グラフ散乱変換(GST)の学習を開始する。これは,特徴やグラフトポロジの摂動下で効率よく安定し,GNNに匹敵するグラフ分類性能を提供する数学的フレームワークである。 我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。 第2の貢献は,深層ニューラルネットワークでは再現が難しい未学習機構の計算複雑性の理論的解析である。 第3のコントリビューションは、削除要求後のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは、平均10.38ドルxのスピードアップを提供し、IMDBデータセットからのトレーニンググラフの90ドルのうち10ドル(約10ドル)のアンラーニング中にテスト精度が2.6ドル(約2,600円)上昇することを示している。

関連論文リスト

• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• Loss-aware Curriculum Learning for Heterogeneous Graph Neural Networks [30.333265803394998]
  異種グラフニューラルネットワーク(GNN)の性能向上のためのカリキュラム学習手法の適用について検討する。 データの品質をよりよく分類するために、データの全ノードの品質を測定するLTSと呼ばれる損失認識トレーニングスケジュールを設計する。 本研究は,複雑なグラフ構造データ解析のためのHGNNの能力向上のためのカリキュラム学習の有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-29T05:44:41Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Certified Graph Unlearning [39.29148804411811]
  グラフ構造化データは実際にユビキタスであり、しばしばグラフニューラルネットワーク(GNN)を使用して処理される 我々は,GNNのemph認定グラフアンラーニングのための最初のフレームワークを紹介する。 ノード機能、エッジ、ノードアンラーニングの3つの異なるタイプのアンラーニング要求を検討する必要がある。
  論文  参考訳（メタデータ） (2022-06-18T07:41:10Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Graph Neural Network Training with Data Tiering [16.02267628659034]
  グラフニューラルネットワーク(GNN)は、不正検出やレコメンデーション、知識グラフ推論など、グラフ構造化データから学ぶことに成功している。 しかし,1)GPUメモリ容量が限られ,大規模なデータセットでは不十分であり,2)グラフベースのデータ構造が不規則なデータアクセスパターンを引き起こすため,GNNを効率的にトレーニングすることは困難である。 本研究では,GNNトレーニングに先立って,より頻繁にアクセスされるデータを統計的に分析し,識別する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-10T19:35:10Z)
• Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
  本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。 我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-04T19:21:48Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Scalable Graph Neural Network Training: The Case for Sampling [4.9201378771958675]
  グラフニューラルネットワーク(Graph Neural Networks、GNN)は、グラフ上で学習を行うディープニューラルネットワークアーキテクチャの新しい、ますます普及しているファミリです。 グラフデータの不規則性から、効率的にトレーニングすることは難しい。 文献には、全グラフとサンプルベースのトレーニングという2つの異なるアプローチが登場した。
  論文  参考訳（メタデータ） (2021-05-05T20:44:10Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。