論文の概要: Coupling Perception and Reasoning in Federated Multimodal Graph Foundation Models
- arxiv url: http://arxiv.org/abs/2610.00277v1
- Date: Thu, 24 Sep 2026 16:42:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.589942
- Title: Coupling Perception and Reasoning in Federated Multimodal Graph Foundation Models
- Title(参考訳): フェデレーション型マルチモーダルグラフ基礎モデルにおける知覚と推論の結合
- Abstract要約: 本稿では,bfFedCOREを提案する。bfFedCOREは,フェデレーションおよびGNN更新を共有低次元潜在状態を通して表現する適応フレームワークである。
我々は、FedCOREがGNNのペアリングギャップを30.6ドルから5.9ドルに減らし、独立的な共同適応よりも80.7%安くなることを示した。
- 参考スコア(独自算出の注目度): 46.49683871378675
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated multimodal graph foundation models (GFMs) aim to adapt pretrained multimodal models to decentralized graph data, where each client owns a private multimodal graph and cannot share raw information. These models typically combine a multimodal Encoder that extracts semantic evidence from heterogeneous modalities and a graph neural network (GNN) that performs relational reasoning over graph structures. However, existing federated GFM adaptation methods mainly update graph-side modules while keeping the multimodal Encoder frozen, limiting adaptation to \emph{how information is propagated} while fixing \emph{what information is extracted}. Through empirical studies, we reveal that Encoder and GNN adaptations are not independent: Encoder adaptation is affected by graph relations, while cross-client module swapping reveals substantial pairing sensitivity between separately parameterized Encoder and GNN updates. Motivated by this observation, we propose \textbf{FedCORE}, a federated adaptation framework that represents Encoder and GNN updates through a shared low-dimensional latent state. FedCORE jointly optimizes this core from multimodal and structural signals and performs federated evolution directly in the shared state space, preserving compatibility between perception and reasoning adaptations. Extensive experiments demonstrate that FedCORE reduces the Encoder--GNN pairing gap from $30.6$ to $5.9$, corresponding to an $80.7\%$ reduction over independent joint adaptation.
- Abstract(参考訳): Federated multimodal graph foundation model (GFMs) は、各クライアントがプライベートなマルチモーダルグラフを所有し、生の情報を共有することができない分散グラフデータに、事前訓練されたマルチモーダルモデルを適用することを目的としている。
これらのモデルは通常、不均一なモダリティから意味的証拠を抽出するマルチモーダルエンコーダと、グラフ構造上の関係推論を行うグラフニューラルネットワーク(GNN)を組み合わせる。
しかし、既存の連合GFM適応法は、主にグラフ側モジュールを更新し、マルチモーダルエンコーダを凍結させ、 \emph{how 情報への適応を制限するとともに、 \emph{what 情報を抽出する。
エンコーダ適応はグラフ関係の影響を受けており、一方、クロスクライアントモジュールスワッピングは、個別にパラメータ化されたエンコーダとGNN更新のペアリング感度がかなり高いことを示す。
本研究の目的は,エンコーダとGNNの更新を共有低次元の潜伏状態を通して表現するフェデレーション適応フレームワークである‘textbf{FedCORE} を提案することである。
FedCOREは、このコアをマルチモーダル信号と構造信号から共同で最適化し、共有状態空間で直接フェデレートされた進化を行い、知覚と推論適応の整合性を保つ。
大規模な実験により、FedCOREはEncoder-GNNのペアリングギャップを30.6ドルから5.9ドルに減らし、独立的な関節適応よりも80.7\%値下げすることを示した。
関連論文リスト
- STAGE: Tackling Semantic Drift in Multimodal Federated Graph Learning [48.96526409527749]
フェデレーショングラフ学習(FGL)は、複数のクライアントにわたるグラフデータの協調トレーニングを可能にする。
鍵となる課題は、異なるモダリティドメインのクライアントが共通のセマンティックスペースを共有していないことだ。
MM-FGLのためのプロトコルファーストフレームワークである textbfSTAGE を提案する。
論文 参考訳(メタデータ) (2026-05-12T10:35:43Z) - Multi-Scale Adaptive Neighborhood Awareness Transformer For Graph Fraud Detection [15.157616444432563]
グラフ不正検出は、グラフ内の不正行為を識別するために重要であり、金融ネットワークやソーシャルメディアなどの様々なドメインに利益をもたらす。
グラフニューラルネットワーク(GNN)に基づく既存の手法は、グラフ構造化データに対する効率的な表現能力のため、かなり成功した。
本稿では,GNNの固有帰納バイアスを緩和するMANDATE(Multiscale Neborhood Awareness Transformer)を提案する。
論文 参考訳(メタデータ) (2026-03-03T15:41:10Z) - Rethinking Federated Graph Foundation Models: A Graph-Language Alignment-based Approach [8.517604507672262]
フェデレーショングラフ基礎モデル(FedGFMs)の最近の研究は、グラフ基礎モデルを訓練するために集中的なデータストレージを持つという理想的かつ持続不可能な仮定を破っている。
ベクトル量子化されたバックボーンを経由した離散トークン空間上の一般化可能な知識が、量子化過程中に不可逆的な知識損失に悩まされるという研究は、現存する。
論文 参考訳(メタデータ) (2026-01-29T07:50:00Z) - Graph Signal Generative Diffusion Models [74.75869068073577]
拡散過程を用いたグラフ信号生成のためのU字型エンコーダ-デコーダグラフニューラルネットワーク(U-GNN)を提案する。
アーキテクチャは、エンコーダとデコーダパス間の接続をスキップすることで、異なる解像度でノード機能を学ぶ。
株価の確率予測における拡散モデルの有効性を実証する。
論文 参考訳(メタデータ) (2025-09-21T21:57:27Z) - Mixture of Decoupled Message Passing Experts with Entropy Constraint for General Node Classification [6.963363358936621]
本研究では,Mixture-of-Experts (MoE) 機構に基づくユニバーサルノード分類フレームワークを提案する。
GNNMoEは、ノード分類性能と多様なグラフデータセットの普遍性の両方において、メインストリームのGNN、異種GNN、グラフトランスフォーマーを著しく上回っている。
論文 参考訳(メタデータ) (2025-02-12T03:10:26Z) - Mixture of Experts Meets Decoupled Message Passing: Towards General and Adaptive Node Classification [4.129489934631072]
グラフニューラルネットワークはグラフ表現学習において優れているが、異種データと長距離依存に苦慮している。
ノード分類のための汎用モデルアーキテクチャであるGNNMoEを提案する。
GNNMoEは様々なグラフデータに対して優れた性能を示し、過度にスムースな問題や大域的なノイズを効果的に軽減している。
論文 参考訳(メタデータ) (2024-12-11T08:35:13Z) - Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。
また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。
本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
論文 参考訳(メタデータ) (2024-10-13T02:22:14Z) - Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [72.33336385797944]
本稿では,学習バイアスを軽減するため,ラベルの効率的な正規化手法であるラベルデコンボリューション(LD)を提案する。
LDはOpen Graph Benchmarkデータセット上で最先端の手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。