論文の概要: FedGAT: A Privacy-Preserving Federated Approximation Algorithm for Graph Attention Networks

• arxiv url: http://arxiv.org/abs/2412.16144v1
• Date: Fri, 20 Dec 2024 18:48:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:19:44.178700
• Title: FedGAT: A Privacy-Preserving Federated Approximation Algorithm for Graph Attention Networks
• Title（参考訳）: FedGAT: グラフ注意ネットワークのためのプライバシ保護フェデレーション近似アルゴリズム
• Authors: Siddharth Ambekar, Yuhang Yao, Ryan Li, Carlee Joe-Wong,
• Abstract要約: 半教師付きノード分類のためのフェデレートグラフ注意ネットワーク(FedGAT)アルゴリズムを提案する。 FedGAT は集中的な設定で GAT モデルとほぼ同じ精度を達成し、その性能はクライアントの数とデータ分散に対して堅牢である。
• 参考スコア（独自算出の注目度）: 14.791684379921598
• License:
• Abstract: Federated training methods have gained popularity for graph learning with applications including friendship graphs of social media sites and customer-merchant interaction graphs of huge online marketplaces. However, privacy regulations often require locally generated data to be stored on local clients. The graph is then naturally partitioned across clients, with no client permitted access to information stored on another. Cross-client edges arise naturally in such cases and present an interesting challenge to federated training methods, as training a graph model at one client requires feature information of nodes on the other end of cross-client edges. Attempting to retain such edges often incurs significant communication overhead, and dropping them altogether reduces model performance. In simpler models such as Graph Convolutional Networks, this can be fixed by communicating a limited amount of feature information across clients before training, but GATs (Graph Attention Networks) require additional information that cannot be pre-communicated, as it changes from training round to round. We introduce the Federated Graph Attention Network (FedGAT) algorithm for semi-supervised node classification, which approximates the behavior of GATs with provable bounds on the approximation error. FedGAT requires only one pre-training communication round, significantly reducing the communication overhead for federated GAT training. We then analyze the error in the approximation and examine the communication overhead and computational complexity of the algorithm. Experiments show that FedGAT achieves nearly the same accuracy as a GAT model in a centralised setting, and its performance is robust to the number of clients as well as data distribution.
• Abstract（参考訳）: ソーシャルメディアサイトの友情グラフや巨大なオンラインマーケットプレースにおける顧客-商人間相互作用グラフなど,グラフ学習の分野では,フェデレートされたトレーニング手法が人気を集めている。 しかし、プライバシ規則はローカルに生成されたデータをローカルクライアントに格納する必要があることが多い。 グラフは、クライアント間で自然に分割され、クライアントが他のクライアントに格納された情報へのアクセスを許可されることはない。 このような場合、クロスクライアントエッジは自然に発生し、一方のクライアントでグラフモデルをトレーニングするには、クロスクライアントエッジのもう一方の端にあるノードの特徴情報を必要とするため、フェデレートされたトレーニング手法に興味深い課題をもたらす。 このようなエッジを維持する試みは、しばしば大きな通信オーバーヘッドを発生させ、それらをドロップすることで、モデルの性能を完全に低下させる。 グラフ畳み込みネットワーク(Graph Convolutional Networks)のような単純なモデルでは、これはトレーニング前にクライアント間で限られた量の機能情報を通信することで修正できるが、GAT(Graph Attention Networks)はトレーニングラウンドからラウンドへと変化するため、事前に通信できない追加情報を必要とする。 本稿では,半教師付きノード分類のためのフェデレートグラフ注意ネットワーク(FedGAT)アルゴリズムを提案する。 FedGATは1回の事前訓練通信ラウンドしか必要とせず、フェデレートGATトレーニングの通信オーバーヘッドを大幅に削減する。 次に、近似における誤差を分析し、アルゴリズムの通信オーバーヘッドと計算複雑性について検討する。 実験により、FedGATは集中した環境でGATモデルとほぼ同等の精度を達成し、その性能はクライアントの数とデータ分散に対して堅牢であることが示された。

関連論文リスト

• Federated Graph Learning with Graphless Clients [52.5629887481768]
  FGL(Federated Graph Learning)は、グラフニューラルネットワーク(GNN)などの機械学習モデルをトレーニングするタスクである。 グラフレスクライアントを用いたFGLにおける問題に対処するための新しいフレームワークFedGLSを提案する。
  論文  参考訳（メタデータ） (2024-11-13T06:54:05Z)
• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
  フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。 本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
  論文  参考訳（メタデータ） (2023-04-15T06:46:37Z)
• Learnable Graph Matching: A Practical Paradigm for Data Association [74.28753343714858]
  これらの問題に対処するための一般的な学習可能なグラフマッチング法を提案する。 提案手法は,複数のMOTデータセット上での最先端性能を実現する。 画像マッチングでは,一般的な屋内データセットであるScanNetで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-03-27T17:39:00Z)
• Graph Federated Learning with Hidden Representation Sharing [33.01999333117515]
  グラフの学習 (Learning on Graphs, LoG) は、各クライアントがローカルデータが不十分な場合、マルチクライアントシステムで広く利用されている。 フェデレートラーニング(FL)では、モデルをマルチクライアントシステムでトレーニングし、クライアント間で生データを共有する必要がある。 本稿では,まず,マルチクライアントシステムにおいてLoG FLを統一するグラフフェデレーション学習(GFL)問題を定式化し,次に隠れ表現の共有を提案する。
  論文  参考訳（メタデータ） (2022-12-23T05:44:27Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• FedGCN: Convergence-Communication Tradeoffs in Federated Training of Graph Convolutional Networks [14.824579000821272]
  我々はフェデレートグラフ畳み込みネットワーク(FedGCN)アルゴリズムを導入し、フェデレーション学習を用いてGCNモデルを訓練し、半教師付きノード分類を行う。 各トレーニングラウンドでクライアント間の余分な通信を必要とする従来の方法と比較して、FedGCNクライアントはトレーニング前の1ステップで中央サーバとのみ通信する。 実験の結果,FedGCNアルゴリズムは平均収束率51.7%,通信速度100倍の精度でモデル精度が向上した。
  論文  参考訳（メタデータ） (2022-01-28T21:39:16Z)
• FedGraph: Federated Graph Learning with Intelligent Sampling [7.798227884125872]
  フェデレーション学習は、分散機械学習におけるプライバシー保護のために、多くの研究の注目を集めている。 既存のフェデレーション学習の作業は主に畳み込みニューラルネットワーク(CNN)に焦点を当てており、多くのアプリケーションで人気のあるグラフデータを効率的に扱えない。 本稿では,複数のコンピュータクライアント間でのフェデレーショングラフ学習のためのFedGraphを提案する。
  論文  参考訳（メタデータ） (2021-11-02T04:58:03Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。