論文の概要: Federated Graph Condensation with Information Bottleneck Principles
- arxiv url: http://arxiv.org/abs/2405.03911v2
- Date: Mon, 11 Nov 2024 09:23:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:06:09.126578
- Title: Federated Graph Condensation with Information Bottleneck Principles
- Title（参考訳）: 情報ボトルネック原理によるフェデレーショングラフの凝縮
- Authors: Bo Yan, Sihao He, Cheng Yang, Shang Liu, Yang Cao, Chuan Shi,
- Abstract要約: グラフニューラルネットワーク(GNN)におけるフェデレーショングラフ凝縮の新しい問題を提案し,研究する。
グラフ凝縮の典型的な勾配マッチングプロセスをクライアント側勾配計算とサーバ側勾配マッチングに分離する。
私たちのフレームワークは、トレーニング中のメンバシップのプライバシを一貫して保護することができます。
- 参考スコア（独自算出の注目度）: 44.404509071881364
- License:
- Abstract: Graph condensation, which reduces the size of a large-scale graph by synthesizing a small-scale condensed graph as its substitution, has immediately benefited various graph learning tasks. However, existing graph condensation methods rely on centralized data storage, which is unfeasible for real-world decentralized data distribution, and overlook data holders' privacy-preserving requirements. To bridge the gap, we propose and study the novel problem of federated graph condensation for graph neural networks (GNNs). Specifically, we first propose a general framework for federated graph condensation, in which we decouple the typical gradient matching process for graph condensation into client-side gradient calculation and server-side gradient matching. In this way, the burdensome computation cost in client-side is largely alleviated. Besides, our empirical studies show that under the federated setting, the condensed graph will consistently leak data membership privacy, i.e., the condensed graph during the federated training can be utilized to steal the training data under the membership inference attacks (MIA). To tackle this issue, we innovatively incorporate information bottleneck principles into the federated graph condensation, which only needs to extract partial node features in one local pre-training step and utilize the features during federated training. Extensive experiments on real-world datasets demonstrate that our framework can consistently protect membership privacy during training. Meanwhile, it also achieves comparable and even superior performance against existing centralized graph condensation and federated graph learning methods.
- Abstract（参考訳）: グラフ凝縮は、小さな縮合グラフを置換として合成することで、大規模グラフのサイズを小さくするが、すぐに様々なグラフ学習タスクの恩恵を受けている。
しかし、既存のグラフ凝縮法は、実際の分散データ配信では不可能な集中データストレージと、データ保持者のプライバシ保護要件に頼っている。
このギャップを埋めるために,グラフニューラルネットワーク(GNN)におけるフェデレーショングラフ凝縮の新たな問題を提案し,検討する。
具体的には、まず、グラフ凝縮の典型的な勾配マッチングプロセスをクライアント側勾配計算とサーバ側勾配マッチングに分離する、連合グラフ凝縮のための一般的なフレームワークを提案する。
このようにして、クライアント側の負担のかかる計算コストは、ほとんど軽減されます。
さらに,我々の実証実験により, 凝縮グラフは, フェデレーション設定下において, 常にデータメンバーシップのプライバシーを漏らし, すなわち, フェデレーショントレーニング中の凝縮グラフを, メンバーシップ推論攻撃(MIA)下でのトレーニングデータを盗むことができることを示した。
この問題に対処するために,我々は,情報ボトルネックの原理をフェデレートグラフ縮合に革新的に取り入れる。これは,局所的な事前学習段階において部分ノードの特徴を抽出し,フェデレーショントレーニング中に特徴を利用する必要がある。
実世界のデータセットに関する大規模な実験は、我々のフレームワークがトレーニング中にメンバーシップのプライバシを一貫して保護できることを示しています。
一方、既存の集中型グラフ凝縮法やフェデレーション付きグラフ学習法に対して、同等で優れたパフォーマンスを実現している。
関連論文リスト
- Simple Graph Condensation [30.85754566420301]
グラフ凝縮(Graph condensation)は、グラフニューラルネットワーク(GNN)を小さな凝縮グラフにチューニングし、大規模なオリジナルグラフで使用する。
本稿では,SimGC(Simple Graph Condensation)フレームワークについて紹介する。
SimGCは既存のグラフ凝縮法に比べて最大10倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-03-22T05:04:48Z) - Graph Data Condensation via Self-expressive Graph Structure Reconstruction [7.4525875528900665]
我々は textbfSelf-presentive Graph Structure textbfReconstruction による textbfGraph Data textbfCondensation という新しいフレームワークを紹介した。
提案手法は,元のグラフ構造を凝縮過程に明示的に組み込んで,凝縮ノード間の不規則な相互依存性を捕捉する。
論文 参考訳（メタデータ） (2024-03-12T03:54:25Z) - Navigating Complexity: Toward Lossless Graph Condensation via Expanding Window Matching [26.303436980548174]
グラフ凝縮は、コンパクトなグラフデータセットを合成することで、大規模グラフデータセットのサイズを減らすことを目的としている。
既存の手法では、特定のデータセットの元のグラフを正確に複製することができないことが多い。
本稿では,これまで無視されていた監視信号をブリッジすることで,無テクトトロスグラフの凝縮化に向けた最初の試みを行う。
論文 参考訳（メタデータ） (2024-02-07T16:32:02Z) - Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching [50.30124426442228]
大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。
そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
論文 参考訳（メタデータ） (2024-02-07T14:49:10Z) - PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation [49.00940417190911]
既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。
本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T05:09:58Z) - Structure-free Graph Condensation: From Large-scale Graphs to Condensed
Graph-free Data [91.27527985415007]
既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。
我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
論文 参考訳（メタデータ） (2023-06-05T07:53:52Z) - You Only Transfer What You Share: Intersection-Induced Graph Transfer
Learning for Link Prediction [79.15394378571132]
従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。
より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。
この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
論文 参考訳（メタデータ） (2023-02-27T22:56:06Z) - Bringing Your Own View: Graph Contrastive Learning without Prefabricated
Data Augmentations [94.41860307845812]
Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。
GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。
グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。
我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
論文 参考訳（メタデータ） (2022-01-04T15:49:18Z) - Distributed Graph Learning with Smooth Data Priors [61.405131495287755]
本稿では,ノード上の信号観測からグラフを推論する分散グラフ学習アルゴリズムを提案する。
この結果から,分散手法は,推定グラフの精度を損なうことなく,集中型アルゴリズムよりも通信コストが低いことがわかった。
論文 参考訳（メタデータ） (2021-12-11T00:52:02Z) - Sub-graph Contrast for Scalable Self-Supervised Graph Representation
Learning [21.0019144298605]
既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。
textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。
既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
論文 参考訳（メタデータ） (2020-09-22T01:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。