論文の概要: Federated Graph Condensation with Information Bottleneck Principles

• arxiv url: http://arxiv.org/abs/2405.03911v4
• Date: Fri, 20 Dec 2024 07:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:28.335826
• Title: Federated Graph Condensation with Information Bottleneck Principles
• Title（参考訳）: 情報ボトルネック原理によるフェデレーショングラフの凝縮
• Authors: Bo Yan, Sihao He, Cheng Yang, Shang Liu, Yang Cao, Chuan Shi,
• Abstract要約: グラフニューラルネットワーク(GNN)のためのFGC(Federated Graph Condensation)の新たな問題を提案し,研究する。 フェデレートされた設定の下では、凝縮グラフは一貫してデータメンバーシップのプライバシーをリークする。 私たちのフレームワークは、トレーニング中のメンバシップのプライバシを一貫して保護します。
• 参考スコア（独自算出の注目度）: 44.404509071881364
• License:
• Abstract: Graph condensation (GC), which reduces the size of a large-scale graph by synthesizing a small-scale condensed graph as its substitution, has benefited various graph learning tasks. However, existing GC methods rely on centralized data storage, which is unfeasible for real-world decentralized data distribution, and overlook data holders' privacy-preserving requirements. To bridge this gap, we propose and study the novel problem of federated graph condensation (FGC) for graph neural networks (GNNs). Specifically, we first propose a general framework for FGC, where we decouple the typical gradient matching process for GC into client-side gradient calculation and server-side gradient matching, integrating knowledge from multiple clients' subgraphs into one smaller condensed graph. Nevertheless, our empirical studies show that under the federated setting, the condensed graph will consistently leak data membership privacy, i.e., the condensed graph during federated training can be utilized to steal training data under the membership inference attack (MIA). To tackle this issue, we innovatively incorporate information bottleneck principles into the FGC, which only needs to extract partial node features in one local pre-training step and utilize the features during federated training. Theoretical and experimental analyses demonstrate that our framework consistently protects membership privacy during training. Meanwhile, it can achieve comparable and even superior performance against existing centralized GC and federated graph learning (FGL) methods.
• Abstract（参考訳）: グラフ凝縮 (GC) は, グラフの置換として小型凝縮グラフを合成することにより, 大規模グラフのサイズを小さくし, 様々なグラフ学習タスクの恩恵を受けている。 しかし、既存のGCメソッドは、実際の分散データ配信では不可能な集中データストレージに依存しており、データ保持者のプライバシ保護要件を見落としている。 このギャップを埋めるために,グラフニューラルネットワーク(GNN)におけるFGC(Federated Graph Condensation)の新たな問題を提案し,検討する。 具体的には、まずFGCのための一般的なフレームワークを提案し、GCの典型的な勾配マッチングプロセスをクライアント側勾配計算とサーバ側勾配マッチングに分離し、複数のクライアントのサブグラフからの知識を1つのより小さな凝縮グラフに統合する。 それにもかかわらず、我々の実証的研究は、フェデレーション環境では、凝縮グラフがデータメンバーシップのプライバシを一貫してリークすることを示し、すなわち、フェデレーショントレーニング中の凝縮グラフは、メンバシップ推論攻撃(MIA)の下でトレーニングデータを盗むことができる。 この問題に対処するために,我々はFGCに情報ボトルネックの原則を革新的に取り入れた。 理論的および実験的分析により、我々のフレームワークはトレーニング中のメンバーシッププライバシを一貫して保護していることが示された。 一方、既存の集中型GCとFGL(Federated Graph Learning)メソッドに対して、同等で優れたパフォーマンスを実現することができる。

関連論文リスト

• Simple Graph Condensation [30.85754566420301]
  グラフ凝縮(Graph condensation)は、グラフニューラルネットワーク(GNN)を小さな凝縮グラフにチューニングし、大規模なオリジナルグラフで使用する。 本稿では,SimGC(Simple Graph Condensation)フレームワークについて紹介する。 SimGCは既存のグラフ凝縮法に比べて最大10倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-03-22T05:04:48Z)
• Graph Data Condensation via Self-expressive Graph Structure Reconstruction [7.4525875528900665]
  我々は textbfSelf-presentive Graph Structure textbfReconstruction による textbfGraph Data textbfCondensation という新しいフレームワークを紹介した。 提案手法は,元のグラフ構造を凝縮過程に明示的に組み込んで,凝縮ノード間の不規則な相互依存性を捕捉する。
  論文  参考訳（メタデータ） (2024-03-12T03:54:25Z)
• Navigating Complexity: Toward Lossless Graph Condensation via Expanding Window Matching [26.303436980548174]
  グラフ凝縮は、コンパクトなグラフデータセットを合成することで、大規模グラフデータセットのサイズを減らすことを目的としている。 既存の手法では、特定のデータセットの元のグラフを正確に複製することができないことが多い。 本稿では,これまで無視されていた監視信号をブリッジすることで,無テクトトロスグラフの凝縮化に向けた最初の試みを行う。
  論文  参考訳（メタデータ） (2024-02-07T16:32:02Z)
• Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching [50.30124426442228]
  大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。 そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T14:49:10Z)
• PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation [49.00940417190911]
  既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。 本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T05:09:58Z)
• Structure-free Graph Condensation: From Large-scale Graphs to Condensed Graph-free Data [91.27527985415007]
  既存のグラフ凝縮法は、凝縮グラフ内のノードと構造の合同最適化に依存している。 我々は、大規模グラフを小さなグラフノード集合に蒸留する、SFGCと呼ばれる新しい構造自由グラフ凝縮パラダイムを提唱する。
  論文  参考訳（メタデータ） (2023-06-05T07:53:52Z)
• Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
  Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
  論文  参考訳（メタデータ） (2022-01-04T15:49:18Z)
• Distributed Graph Learning with Smooth Data Priors [61.405131495287755]
  本稿では,ノード上の信号観測からグラフを推論する分散グラフ学習アルゴリズムを提案する。 この結果から,分散手法は,推定グラフの精度を損なうことなく,集中型アルゴリズムよりも通信コストが低いことがわかった。
  論文  参考訳（メタデータ） (2021-12-11T00:52:02Z)
• Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning [21.0019144298605]
  既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。 textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。 既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
  論文  参考訳（メタデータ） (2020-09-22T01:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。