論文の概要: Rethinking Federated Graph Foundation Models: A Graph-Language Alignment-based Approach
- arxiv url: http://arxiv.org/abs/2601.21369v1
- Date: Thu, 29 Jan 2026 07:50:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.657269
- Title: Rethinking Federated Graph Foundation Models: A Graph-Language Alignment-based Approach
- Title（参考訳）: グラフファウンデーションモデルの再考:グラフ言語アライメントに基づくアプローチ
- Authors: Yinlin Zhu, Di Wu, Xianzhi Zhang, Yuming Ai, Xunkai Li, Miao Hu, Guocong Quan,
- Abstract要約: フェデレーショングラフ基礎モデル(FedGFMs)の最近の研究は、グラフ基礎モデルを訓練するために集中的なデータストレージを持つという理想的かつ持続不可能な仮定を破っている。
ベクトル量子化されたバックボーンを経由した離散トークン空間上の一般化可能な知識が、量子化過程中に不可逆的な知識損失に悩まされるという研究は、現存する。
- 参考スコア（独自算出の注目度）: 8.517604507672262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies of federated graph foundational models (FedGFMs) break the idealized and untenable assumption of having centralized data storage to train graph foundation models, and accommodate the reality of distributed, privacy-restricted data silos. Despite their simplicity and intuition, existing studies that project aligned generalizable knowledge onto a discrete token space via vector-quantized backbones suffer from irreversible knowledge loss during the quantization process. In this context, we argue that reconciling the semantic-structural orthogonality and integrity between pre-trained language models (PLMs) and graph neural networks (GNNs) is paramount for developing effective FedGFMs while simultaneously mitigating the severe data heterogeneity and communication constraints inherent in distributed, resource-limited environments. To address these issues, we propose FedGALA (Federated Graph And Language Alignment), a framework that resolves graph-based semantic-structural orthogonality and integrity in federated settings by employing unsupervised contrastive learning to align GNNs and frozen PLMs within a continuous embedding space, thereby capturing robust, transferable general knowledge. Subsequently, FedGALA leverages a communication-efficient prompt tuning mechanism to steer these pre-aligned encoders and frozen PLMs, facilitating effective adaptation to diverse downstream tasks while circumventing the prohibitive overhead of full-parameter fine-tuning. The comprehensive experiments validate that FedGALA outperforms all competitive baselines across multi-domain datasets on multiple tasks with up to 14.37% performance improvement.
- Abstract（参考訳）: 最近のフェデレーショングラフ基礎モデル(FedGFMs)の研究は、グラフ基礎モデルをトレーニングし、分散されたプライバシに制限されたデータサイロの現実に対応するために、中央集権的なデータストレージを持つという理想的かつ耐え難い仮定を破っている。
その単純さと直感にもかかわらず、ベクトル量子化されたバックボーンを介して離散トークン空間上に一般化可能な知識を計画する既存の研究は、量子化過程において不可逆的な知識損失に悩まされている。
この文脈では、学習前言語モデル(PLM)とグラフニューラルネットワーク(GNN)のセマンティック・構造的直交性と整合性は、分散リソース制限環境に固有の重大データ不均一性と通信制約を緩和しつつ、効果的なFedGFMを開発する上で最重要であると論じる。
これらの問題に対処するため,FedGALA (Federated Graph And Language Alignment) を提案する。非教師なしのコントラスト学習を用いて,GNNと凍結PLMを連続的な埋め込み空間内で整列させ,堅牢で伝達可能な汎用知識をキャプチャする。
その後、FedGALAは通信効率のよいプロンプトチューニング機構を利用して、これらのプリアラインエンコーダと凍結したPLMを操り、様々な下流タスクに効果的に適応し、フルパラメータの微調整の禁止的なオーバーヘッドを回避する。
包括的な実験により、FedGALAは最大14.37%のパフォーマンス改善を伴う複数のタスクにおいて、複数のドメインデータセット間の競合ベースラインを全て上回っていることが検証された。
関連論文リスト
- Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks [63.541114376141735]
大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。
しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。
我々はフェデレート・アテンション(FedAttn)を提案し、フェデレーション・パラダイムを自己注意機構に統合する。
論文 参考訳（メタデータ） (2025-11-04T15:14:58Z) - Federated Learning Meets LLMs: Feature Extraction From Heterogeneous Clients [0.0]
フェデレートラーニング(FL)は、生データを共有せずに協調的なモデルトレーニングを可能にする。
我々は,事前学習された大規模言語モデル(LLM)を普遍的特徴抽出器として利用するフレームワークであるFedLLM-Alignを提案する。
冠動脈疾患予測におけるFedLLM-Alignの評価は,シミュレートされたスキーマ分岐を用いた分割データセットを用いて行われる。
論文 参考訳（メタデータ） (2025-09-29T14:06:52Z) - G-reasoner: Foundation Models for Unified Reasoning over Graph-structured Knowledge [88.82814893945077]
大規模言語モデル(LLM)は複雑な推論において優れているが、静的かつ不完全なパラメトリック知識によって制限される。
最近のグラフ強化RAG (GraphRAG) は、このギャップを補足したグラフを構築し、LLMがそれらを推論できるようにする。
G-reasonerは、様々なグラフ構造化知識を推論するためにグラフと言語基盤モデルを統合した統合フレームワークである。
論文 参考訳（メタデータ） (2025-09-29T04:38:12Z) - Widening the Network Mitigates the Impact of Data Heterogeneity on FedAvg [6.185573921868495]
フェデレートラーニング(FL)により、分散クライアントは、ローカルデータを共有せずに、協調的にモデルをトレーニングできる。
ニューラルネットワークの幅が大きくなると、データの不均一性の影響は減少し、幅が無限に近づくと最終的に消滅する。
無限幅系では、FedAvgのグローバルモデルと局所モデルの両方が線形モデルとして振る舞うことがさらに証明され、FedAvgはGD反復数と同じ数の集中学習と同じ一般化性能を達成する。
論文 参考訳（メタデータ） (2025-08-18T02:22:55Z) - FedNE: Surrogate-Assisted Federated Neighbor Embedding for Dimensionality Reduction [47.336599393600046]
textscFedNEは、textscFedAvgフレームワークと対照的なNEテクニックを統合する新しいアプローチである。
我々は、合成データセットと実世界のデータセットの両方について包括的な実験を行う。
論文 参考訳（メタデータ） (2024-09-17T19:23:24Z) - DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth
and Data Heterogeneity [14.313847382199059]
Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。
Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
論文 参考訳（メタデータ） (2023-12-20T19:11:19Z) - Privacy-preserving design of graph neural networks with applications to
vertical federated learning [56.74455367682945]
VESPERと呼ばれるエンドツーエンドのグラフ表現学習フレームワークを提案する。
VESPERは、適切なプライバシー予算の下でスパースグラフと密度グラフの両方で高性能なGNNモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2023-10-31T15:34:59Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳（メタデータ） (2023-02-19T17:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。