論文の概要: Towards Effective Federated Graph Foundation Model via Mitigating Knowledge Entanglement

• arxiv url: http://arxiv.org/abs/2505.12684v1
• Date: Mon, 19 May 2025 04:06:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.395926
• Title: Towards Effective Federated Graph Foundation Model via Mitigating Knowledge Entanglement
• Title（参考訳）: 知識の絡み合いを緩和した効果的なフェデレーショングラフ基盤モデルに向けて
• Authors: Yinlin Zhu, Xunkai Li, Jishuo Jia, Miao Hu, Di Wu, Meikang Qiu,
• Abstract要約: グラフ基礎モデル(GFM)は強力なドメイン一般化を提供するが、通常は単一のマシンで訓練される。 我々は,新しい分散GFMトレーニングパラダイムであるFedGFMを提案する。 主な課題は知識の絡み合いであり、多分野の知識は区別できない表現に融合する。 2つのコアモジュールを持つ拡張フレームワークであるFedGFM+を,知識の絡み合いを軽減するために提案する。
• 参考スコア（独自算出の注目度）: 9.87623531653534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in graph machine learning have shifted to data-centric paradigms, driven by two emerging fields: (1) Federated graph learning (FGL) enables multi-client collaboration but faces challenges from data and task heterogeneity, limiting its practicality; (2) Graph foundation models (GFM) offer strong domain generalization but are usually trained on single machines, missing out on cross-silo data and resources. These paradigms are complementary, and their integration brings notable benefits. Motivated by this, we propose FedGFM, a novel decentralized GFM training paradigm. However, a key challenge is knowledge entanglement, where multi-domain knowledge merges into indistinguishable representations, hindering downstream adaptation. To address this, we present FedGFM+, an enhanced framework with two core modules to reduce knowledge entanglement: (1) AncDAI: A global anchor-based domain-aware initialization strategy. Before pre-training, each client encodes its local graph into domain-specific prototypes that serve as semantic anchors. Synthetic embeddings around these anchors initialize the global model. We theoretically prove these prototypes are distinguishable across domains, providing a strong inductive bias to disentangle domain-specific knowledge. (2) AdaDPP: A local adaptive domain-sensitive prompt pool. Each client learns a lightweight graph prompt capturing domain semantics during pre-training. During fine-tuning, prompts from all clients form a pool from which the GFM selects relevant prompts to augment target graph attributes, improving downstream adaptation. FedGFM+ is evaluated on 8 diverse benchmarks across multiple domains and tasks, outperforming 20 baselines from supervised learning, FGL, and federated GFM variants.
• Abstract（参考訳）: グラフ機械学習の最近の進歩は、データ中心のパラダイムへとシフトしており、(1) フェデレーショングラフ学習(FGL)は、マルチクライアントのコラボレーションを可能にするが、データとタスクの不均一性による課題に直面し、その実用性を制限している; (2) グラフ基礎モデル(GFM)は強力なドメイン一般化を提供するが、通常は単一マシンで訓練され、クロスサイロのデータやリソースに欠落している。 これらのパラダイムは相補的であり、それらの統合は大きな利益をもたらします。 そこで我々は,新しい分散GFMトレーニングパラダイムであるFedGFMを提案する。 しかし、重要な課題は知識の絡み合いであり、マルチドメインの知識は区別できない表現に融合し、下流への適応を妨げる。 これを解決するために,(1) AncDAI:グローバルアンカーベースのドメイン認識初期化戦略であるFedGFM+を提案する。 事前トレーニング前、各クライアントはローカルグラフをドメイン固有のプロトタイプにエンコードし、セマンティックアンカーとして機能する。 これらのアンカーの周りの合成埋め込みは、グローバルモデルの初期化である。 理論的には、これらのプロトタイプはドメイン間で区別可能であることを証明し、ドメイン固有の知識を歪ませるために強い帰納バイアスを与える。 2) AdaDPP: 局所適応型ドメイン感受性プロンプトプール。 各クライアントは、事前トレーニング中にドメインセマンティクスをキャプチャする、軽量なグラフプロンプトを学習する。 微調整の間、すべてのクライアントからのプロンプトはプールを形成し、そこからGCMが関連するプロンプトを選択してターゲットグラフ属性を拡大し、下流適応を改善します。 FedGFM+は、複数のドメインとタスクにまたがる8つの多様なベンチマークで評価され、教師付き学習、FGL、フェデレーション付きGFMの亜種から20のベースラインを上回っている。

関連論文リスト

• FedHERO: A Federated Learning Approach for Node Classification Task on Heterophilic Graphs [55.51300642911766]
  Federated Graph Learning(FGL)は、クライアントがグラフニューラルネットワーク(GNN)を分散的にトレーニングすることを可能にする。 FGL法は通常、全てのクライアントが所有するグラフデータが、類似したノードの分布パターンを保証するためにホモフィリックであることが要求される。 異種グラフからの洞察を効果的に活用し、共有するために設計されたFGLフレームワークであるFedHEROを提案する。
  論文  参考訳（メタデータ） (2025-04-29T22:23:35Z)
• Federated Prototype Graph Learning [33.38948169766356]
  Federated Graph Learning (FGL)は、その分散トレーニング機能に大きな注目を集めている。 FEMAIL: 上記の多レベルFGLの不均一性に対する一般プロトタイプ誘導最適化法としてFedPGを提案する。 実験により,FedPGは平均3.57%の精度でSOTAベースラインを上回り,通信コストを168倍に削減した。
  論文  参考訳（メタデータ） (2025-04-13T09:21:21Z)
• Multi-Domain Graph Foundation Models: Robust Knowledge Transfer via Topology Alignment [9.215549756572976]
  実世界のグラフはスパースが多く、ノイズの多い接続や敵の攻撃を受けやすい。 本稿では,ドメイン間のトポロジ情報を整合化し活用する統合フレームワークであるMDGFMを提案する。 トポロジを整列させることで、MDGFMはマルチドメイン事前学習を改善するだけでなく、目に見えないドメインへの堅牢な知識伝達を可能にする。
  論文  参考訳（メタデータ） (2025-02-04T05:09:23Z)
• UniGraph2: Learning a Unified Embedding Space to Bind Multimodal Graphs [34.48393396390799]
  マルチモーダルグラフ上での汎用的な表現学習を可能にする新しいクロスドメイングラフ基盤モデルを提案する。 UniGraph2は、グラフニューラルネットワーク(GNN)と共にモダリティ固有のエンコーダを使用して、統一された低次元埋め込み空間を学習する。 我々は,UniGraph2が表現学習,伝達学習,マルチモーダル生成タスクなどのタスクにおいて,最先端モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-02T14:04:53Z)
• Federated Domain Generalization with Data-free On-server Gradient Matching [6.817783565501387]
  ドメイン一般化(DG)は、未知のターゲットドメインに適切に一般化できるモデルとして、複数の既知のソースドメインから学習することを目的としている。 本稿では,分散ドメインからのドメイン情報を効率よく活用できるFedOMG(On-server Matching Gradient)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-24T17:20:22Z)
• Learning to Augment via Implicit Differentiation for Domain Generalization [107.9666735637355]
  ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。 本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。 AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
  論文  参考訳（メタデータ） (2022-10-25T18:51:51Z)
• Semi-Supervised Domain Generalization with Stochastic StyleMatch [90.98288822165482]
  実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかです。 本研究では,より現実的で実践的な半教師付き領域一般化について検討する。 提案手法であるStyleMatchは,擬似ラベルに基づく最先端の半教師付き学習手法であるFixMatchに着想を得たものである。
  論文  参考訳（メタデータ） (2021-06-01T16:00:08Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• Cross-Domain Facial Expression Recognition: A Unified Evaluation Benchmark and Adversarial Graph Learning [85.6386289476598]
  我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。 我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-03T15:00:31Z)
• Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
  ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。 近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。 本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-31T03:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。