論文の概要: Training Differentially Private Graph Neural Networks with Random Walk Sampling

• arxiv url: http://arxiv.org/abs/2301.00738v1
• Date: Mon, 2 Jan 2023 16:14:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 16:13:28.240375
• Title: Training Differentially Private Graph Neural Networks with Random Walk Sampling
• Title（参考訳）: ランダムウォークサンプリングによる個人用グラフニューラルネットワークの訓練
• Authors: Morgane Ayle, Jan Schuchardt, Lukas Gosch, Daniel Z\"ugner, Stephan G\"unnemann
• Abstract要約: 異なるプライベートな降下は、トレーニングデータに関する機密情報を漏らすことなく、ニューラルネットワークをトレーニングするための事実上の標準である。 実際には、これはグラフ上のプライバシー保護のディープラーニングを、非常に浅いグラフニューラルネットワークに制限する。 本稿では、与えられたトレーニンググラフの非結合部分グラフ上でグラフニューラルネットワークをトレーニングすることで、この問題を解決することを提案する。
• 参考スコア（独自算出の注目度）: 1.8059331230167266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models are known to put the privacy of their training data at risk, which poses challenges for their safe and ethical release to the public. Differentially private stochastic gradient descent is the de facto standard for training neural networks without leaking sensitive information about the training data. However, applying it to models for graph-structured data poses a novel challenge: unlike with i.i.d. data, sensitive information about a node in a graph cannot only leak through its gradients, but also through the gradients of all nodes within a larger neighborhood. In practice, this limits privacy-preserving deep learning on graphs to very shallow graph neural networks. We propose to solve this issue by training graph neural networks on disjoint subgraphs of a given training graph. We develop three random-walk-based methods for generating such disjoint subgraphs and perform a careful analysis of the data-generating distributions to provide strong privacy guarantees. Through extensive experiments, we show that our method greatly outperforms the state-of-the-art baseline on three large graphs, and matches or outperforms it on four smaller ones.
• Abstract（参考訳）: ディープラーニングモデルは、トレーニングデータのプライバシを危険にさらすことで知られており、安全で倫理的なリリースを公衆に提供する上での課題となっている。 差動的確率勾配降下は、トレーニングデータに関する機密情報を漏らさずにニューラルネットワークを訓練するためのデファクトスタンダードである。 しかし、グラフ構造化データのモデルに適用することは、すなわちデータとは異なり、グラフ内のノードに関するセンシティブな情報は、その勾配だけでなく、より大きな近傍にあるすべてのノードの勾配を通しても漏れることができない。 実際には、これはグラフ上のプライバシー保存ディープラーニングを非常に浅いグラフニューラルネットワークに制限する。 本稿では,与えられた学習グラフの非結合部分グラフ上でグラフニューラルネットワークを訓練することにより,この問題を解決する。 本研究では,このような不一致部分グラフを生成するためのランダムウォークベースの手法を3つ開発し,データ生成分布を注意深く解析し,強力なプライバシー保証を提供する。 広範な実験により,本手法は3つの大きなグラフにおいて最先端のベースラインを大きく上回り,さらに4つの小さなグラフにマッチあるいは上回ることを示す。

関連論文リスト

• Stealing Training Graphs from Graph Neural Networks [54.52392250297907]
  グラフニューラルネットワーク(GNN)は、様々なタスクにおけるグラフのモデリングにおいて有望な結果を示している。 ニューラルネットワークがトレーニングサンプルを記憶できるため、GNNのモデルパラメータはプライベートトレーニングデータをリークするリスクが高い。 訓練されたGNNからグラフを盗むという新しい問題について検討する。
  論文  参考訳（メタデータ） (2024-11-17T23:15:36Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Position-Aware Subgraph Neural Networks with Data-Efficient Learning [15.58680146160525]
  PADELと呼ばれるサブグラフニューラルネットワークのための位置認識型データ効率学習フレームワークを提案する。 具体的には、アンカーフリーな新しいノード位置符号化法を提案し、拡散変動部分グラフオートエンコーダに基づく新しい生成部分グラフ拡張法を設計する。
  論文  参考訳（メタデータ） (2022-11-01T16:34:42Z)
• Diving into Unified Data-Model Sparsity for Class-Imbalanced Graph Representation Learning [30.23894624193583]
  非ユークリッドグラフデータに基づくグラフニューラルネットワーク(GNN)トレーニングは、しばしば比較的高い時間コストに直面する。 グラフ決定(Graph Decantation, GraphDec)と呼ばれる統一されたデータモデル動的疎結合フレームワークを開発し, 大規模なクラス不均衡グラフデータのトレーニングによる課題に対処する。
  論文  参考訳（メタデータ） (2022-10-01T01:47:00Z)
• Model Inversion Attacks against Graph Neural Networks [65.35955643325038]
  グラフニューラルネットワーク(GNN)に対するモデル反転攻撃について検討する。 本稿では,プライベートトレーニンググラフデータを推測するためにGraphMIを提案する。 実験の結果,このような防御効果は十分ではないことが示され,プライバシー攻撃に対するより高度な防御が求められている。
  論文  参考訳（メタデータ） (2022-09-16T09:13:43Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation [13.815063206114713]
  グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。 対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。 提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
  論文  参考訳（メタデータ） (2021-10-12T19:24:42Z)
• GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
  GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。 具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。 エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
  論文  参考訳（メタデータ） (2021-06-05T07:07:52Z)
• Scalable Graph Neural Network Training: The Case for Sampling [4.9201378771958675]
  グラフニューラルネットワーク(Graph Neural Networks、GNN)は、グラフ上で学習を行うディープニューラルネットワークアーキテクチャの新しい、ますます普及しているファミリです。 グラフデータの不規則性から、効率的にトレーニングすることは難しい。 文献には、全グラフとサンプルベースのトレーニングという2つの異なるアプローチが登場した。
  論文  参考訳（メタデータ） (2021-05-05T20:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。