論文の概要: Data-centric Federated Graph Learning with Large Language Models

• arxiv url: http://arxiv.org/abs/2503.19455v1
• Date: Tue, 25 Mar 2025 08:43:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:28.197304
• Title: Data-centric Federated Graph Learning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたデータ中心型フェデレーショングラフ学習
• Authors: Bo Yan, Zhongjian Zhang, Huabin Sun, Mengmei Zhang, Yang Cao, Chuan Shi,
• Abstract要約: フェデレーショングラフ学習(FGL)では、完全なグラフは、プライバシー上の懸念により、各クライアントに格納された複数のサブグラフに分割される。 FGLの問題点は、ノードや構造がクライアント間で非IID特性を示す不均一性の問題である。 本稿では,FGLの大規模言語モデルのタスクを理論的に2つのサブタスクに分割する枠組みを提案する。
• 参考スコア（独自算出の注目度）: 34.224475952206404
• License:
• Abstract: In federated graph learning (FGL), a complete graph is divided into multiple subgraphs stored in each client due to privacy concerns, and all clients jointly train a global graph model by only transmitting model parameters. A pain point of FGL is the heterogeneity problem, where nodes or structures present non-IID properties among clients (e.g., different node label distributions), dramatically undermining the convergence and performance of FGL. To address this, existing efforts focus on design strategies at the model level, i.e., they design models to extract common knowledge to mitigate heterogeneity. However, these model-level strategies fail to fundamentally address the heterogeneity problem as the model needs to be designed from scratch when transferring to other tasks. Motivated by large language models (LLMs) having achieved remarkable success, we aim to utilize LLMs to fully understand and augment local text-attributed graphs, to address data heterogeneity at the data level. In this paper, we propose a general framework LLM4FGL that innovatively decomposes the task of LLM for FGL into two sub-tasks theoretically. Specifically, for each client, it first utilizes the LLM to generate missing neighbors and then infers connections between generated nodes and raw nodes. To improve the quality of generated nodes, we design a novel federated generation-and-reflection mechanism for LLMs, without the need to modify the parameters of the LLM but relying solely on the collective feedback from all clients. After neighbor generation, all the clients utilize a pre-trained edge predictor to infer the missing edges. Furthermore, our framework can seamlessly integrate as a plug-in with existing FGL methods. Experiments on three real-world datasets demonstrate the superiority of our method compared to advanced baselines.
• Abstract（参考訳）: フェデレーショングラフ学習(FGL)では、完全なグラフはプライバシー上の懸念から各クライアントに格納された複数のサブグラフに分割され、すべてのクライアントはモデルパラメータのみを送信することによってグローバルグラフモデルを共同で訓練する。 FGLの問題点は、クライアント間の非IID特性(例えば、異なるノードラベル分布)を示すノードや構造が不均一性の問題であり、FGLの収束と性能を劇的に損なう。 これを解決するために、既存の取り組みは、モデルレベルでの設計戦略、すなわち、不均一性を緩和するために共通の知識を抽出するモデルを設計することに焦点を当てている。 しかし、これらのモデルレベルの戦略は、他のタスクに転送する際にモデルをゼロから設計する必要があるため、不均一性の問題に根本的な対処に失敗する。 大規模言語モデル (LLM) が大きな成功をおさめ, LLM を利用して局所的なテキスト分散グラフを十分に理解し, 拡張し, データレベルでの不均一性に対処することを目指している。 本稿では,FGL のための LLM のタスクを理論的に2つのサブタスクに分解する汎用フレームワーク LLM4FGL を提案する。 具体的には、まずLLMを使用して、不足している隣人を生成し、次に生成されたノードと生ノード間の接続を推論する。 生成ノードの品質を向上させるため,LLMのパラメータを変更することなく,全クライアントからの集合的フィードバックにのみ依存することなく,LLMの新たなフェデレーション・アンド・リフレクション機構を設計する。 隣接世代後、すべてのクライアントは、訓練済みのエッジ予測器を使用して、欠落したエッジを推測する。 さらに,既存のFGLメソッドをプラグインとしてシームレスに統合することも可能だ。 3つの実世界のデータセットに対する実験は、先進的なベースラインと比較して、我々の手法の優位性を示している。

関連論文リスト

• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Exploring the Potential of Large Language Models for Heterophilic Graphs [38.79574338268997]
  大規模言語モデル(LLM)を用いた異種グラフモデリングのための2段階フレームワークを提案する。 第1段階では、LLMを微調整して、ノードのテキスト内容に基づいて、同好および異好のエッジをより正確に識別する。 第2段階では,ノードの特徴,構造,ヘテロ親和性,ホモ親和性といった特徴に基づいて,異なるエッジタイプに対するGNNのメッセージ伝搬を適応的に管理する。
  論文  参考訳（メタデータ） (2024-08-26T09:29:56Z)
• Federated Graph Learning with Structure Proxy Alignment [43.13100155569234]
  Federated Graph Learning (FGL)は、複数のデータ所有者に分散されたグラフデータよりもグラフ学習モデルを学習することを目的としている。 我々はFedSprayを提案する。FedSprayは、潜伏空間における局所的なクラスワイド構造プロキシを学習する新しいFGLフレームワークである。 我々のゴールは、ノード分類のための信頼性が高く、偏りのない隣り合う情報として機能する、整列構造プロキシを得ることです。
  論文  参考訳（メタデータ） (2024-08-18T07:32:54Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs [36.749959232724514]
  ZeroGは、クロスデータセットの一般化を可能にするために設計された新しいフレームワークである。 特徴の不整合、ラベル空間の整合、負の移動といった、固有の課題に対処する。 本稿では,抽出したサブグラフの意味情報と構造情報を豊かにするための,プロンプトベースのサブグラフサンプリングモジュールを提案する。
  論文  参考訳（メタデータ） (2024-02-17T09:52:43Z)
• AdaFGL: A New Paradigm for Federated Node Classification with Topology Heterogeneity [44.11777886421429]
  Federated Graph Learning (FGL) はグラフニューラルネットワークに基づく分散フレームワークとして注目されている。 構造的非イド分割の概念を導入し、次に、UnderlineAdaptive UnderlineFederated UnderlineGraph UnderlineLearning (AdaFGL)と呼ばれる新しいパラダイムを示す。 提案したAdaFGLは,コミュニティ分割の3.24%,コミュニティ分割の5.57%,非イド分割の5.57%でベースラインを上回った。
  論文  参考訳（メタデータ） (2024-01-22T08:23:31Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。