論文の概要: Toward Federated Multimodal Graph Foundation Models: A Topology-Aware Multimodal Alignment Framework

• arxiv url: http://arxiv.org/abs/2607.15687v1
• Date: Fri, 17 Jul 2026 06:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.776881
• Title: Toward Federated Multimodal Graph Foundation Models: A Topology-Aware Multimodal Alignment Framework
• Title（参考訳）: フェデレーション型マルチモーダルグラフ基盤モデルに向けて: トポロジ対応マルチモーダルアライメントフレームワーク
• Abstract要約: FedGAMMAは2段階のセマンティック構造アライメント問題として、フェデレーション付きマルチモーダルグラフ基礎学習を論じている。 事前学習中、共有プライベートなセマンティックエンハンサーは、モダリティ固有の情報からモダリティ間の共通性を切り離す。 微調整の間、FedGAMMAは軽量なグラフ認識プロンプトを通じて事前訓練されたエンコーダに適応する。
• 参考スコア（独自算出の注目度）: 35.35423006939282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal-attributed graphs (MAGs), whose nodes carry modalities such as images and text alongside topological structure, now pervade applications including social platforms, e-commerce, and biomedical networks, offering richer semantic signals than single-modality graphs. In practice, such graphs are fragmented across privacy-restricted silos owned by different platforms and institutions, so learning a broadly transferable model over them demands collaborative training that never exposes raw data. This places the task at the intersection of multimodal graph learning and federated learning, yet existing methods cover only one side of it. To address the challenges from these two perspectives, we propose FedGAMMA, casting federated multimodal graph foundation learning as a two-stage semantic-structural alignment problem of federated pre-training and prompt-based fine-tuning. During pre-training, a shared-private semantic enhancer disentangles cross-modal commonality from modality-specific information, aligning it through optimal transport, a topology-aware graph fusion module decouples semantic and structural views via semantic residual graphs and dual positional encodings, and a dual-channel affinity-aware aggregation mechanism estimates client similarity from feature and graph centroids without exposing raw data. During fine-tuning, FedGAMMA adapts the pretrained encoder through lightweight graph-aware prompts, a shared prompt pool with controlled exploration, and channel-wise prompt synchronization. Experiments on twelve multimodal graph datasets show FedGAMMA consistently surpassing a broad range of baselines across downstream tasks, with gains of up to 12.96%. FedGAMMA further outperforms competitive baselines accross multi-domain datasets on multiple tasks with up to 5.71% under few-shot learning scenario.
• Abstract（参考訳）: ノードが画像やテキストなどのモダリティをトポロジ構造とともに持つマルチモーダル分散グラフ(MAG)は、現在ではソーシャルプラットフォーム、eコマース、バイオメディカルネットワークなどのアプリケーションに浸透し、単一のモダリティグラフよりもリッチなセマンティックシグナルを提供する。 実際には、このようなグラフは、異なるプラットフォームや機関が所有するプライバシー制限されたサイロに断片化されているため、それらの上で広く移行可能なモデルを学ぶには、生データを決して公開しない共同トレーニングが必要である。 これは、タスクをマルチモーダルグラフ学習とフェデレーション学習の交差点に配置するが、既存のメソッドはその一方だけをカバーする。 これら2つの観点からの課題に対処するため、フェデレーション付きマルチモーダルグラフ基礎学習を、フェデレーション付き事前学習とプロンプトベースの微調整の2段階意味構造アライメント問題として、FedGAMMAを提案する。 事前トレーニング中、共有プライベートなセマンティックエンハンサーは、モダリティ固有の情報から相互に共通性を切り離し、最適なトランスポートを介して整列し、トポロジ対応グラフ融合モジュールは、セマンティックセマンティクスグラフと2つの位置エンコーディングを介してセマンティクスと構造ビューを分離し、デュアルチャネルアフィニティ対応アグリゲーション機構は、原データを公開することなく、特徴およびグラフセントロイドからクライアントの類似性を推定する。 微調整の間、FedGAMMAは、軽量なグラフ認識プロンプト、制御された探索を伴う共有プロンプトプール、チャネルワイズプロンプト同期を通じて、事前訓練されたエンコーダに適応する。 12のマルチモーダルグラフデータセットの実験では、FedGAMMAは下流のタスクにまたがる幅広いベースラインを一貫して上回り、最大12.96%のゲインを得た。 FedGAMMAはさらに、複数タスク上の複数のドメインデータセット間の競合ベースラインを、数ショットの学習シナリオで最大5.71%性能で上回る。

関連論文リスト

• ReCoG: Reciprocal Co-Evolution for Multimodal Graph Learning [9.030717765733398]
  マルチモーダルグラフ学習では、グラフ構造と不均一なノード属性を共同でトレーニングする必要がある。 本稿では,グラフ構造学習とマルチモーダル表現学習を密結合した新しい学習パラダイムReCoGを提案する。 本研究は,構造と意味の相互共進化が,効果的なマルチモーダルグラフ学習に重要であることを示す。
  論文  参考訳（メタデータ） (2026-08-24T04:16:13Z)
• Towards Effective Federated Multimodal Graph Learning via Navigating Multifaceted Heterogeneity [12.526349151730921]
  位相対応クロスモーダルルーティング(FedTCR)を用いたフェデレーションマルチモーダルグラフ学習を提案する。 FedTCRは、フェデレーションされたタスク非依存の事前トレーニングと、独立したタスク指向の微調整を含む2段階のパラダイムを採用している。 7つの領域にわたる実験では、FedTCRはグラフ中心のタスクとモダリティ中心のタスクの両方で最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-08-01T12:29:38Z)
• FedLAB: Traceable Semantic Codebooks for Federated Multimodal Graph Foundation Learning [47.940785803361415]
  FedLABはトレース可能なセマンティックコードブックフレームワークで、マルチモーダルグラフの知識をモダリティエビデンス、ノードセマンティクス、トポロジーコンテキストのための型付きコードブックに整理する。 実験によると、FedLABは、ネイティブなセマンティックトレースインターフェースを保持しながら、最先端のベースラインを7.53%改善している。
  論文  参考訳（メタデータ） (2026-06-30T17:47:39Z)
• STAGE: Tackling Semantic Drift in Multimodal Federated Graph Learning [48.96526409527749]
  フェデレーショングラフ学習(FGL)は、複数のクライアントにわたるグラフデータの協調トレーニングを可能にする。 鍵となる課題は、異なるモダリティドメインのクライアントが共通のセマンティックスペースを共有していないことだ。 MM-FGLのためのプロトコルファーストフレームワークである textbfSTAGE を提案する。
  論文  参考訳（メタデータ） (2026-05-12T10:35:43Z)
• Toward Effective Multimodal Graph Foundation Model: A Divide-and-Conquer Based Approach [42.970648490410504]
  MGFM(Multimodal Graph Foundation Models)は、Multimodal-Attributed Graphs(MAG)におけるリッチなマルチモーダル情報の活用を可能にする。 本稿では,異なる粒度にまたがるモダリティの相互作用とアライメントを分離するために,Divide-and-Conquer戦略を用いた新しいフレームワークPLANETを提案する。 PLANETは,様々なグラフ中心およびマルチモーダル生成タスクにおいて,最先端のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-04T01:05:12Z)
• OWLEYE: Zero-Shot Learner for Cross-Domain Graph Data Anomaly Detection [48.77471686671269]
  OWLEYEは、複数のグラフから正常な振る舞いの伝達可能なパターンを学習する新しいフレームワークである。 OWLEYEは最先端のベースラインに比べて性能と一般化性が優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-27T02:08:18Z)
• OFA-MAS: One-for-All Multi-Agent System Topology Design based on Mixture-of-Experts Graph Generative Models [57.94189874119267]
  マルチエージェントシステム(MAS)は複雑な問題を解決するための強力なパラダイムを提供する。 現在のグラフ学習に基づく設計手法は、しばしば「1対1」のパラダイムに準拠している。 自然言語で記述されたタスクに対して適応的な協調グラフを生成する一対一のフレームワークOFA-TADを提案する。
  論文  参考訳（メタデータ） (2026-01-19T12:23:44Z)
• Graph4MM: Weaving Multimodal Learning with Structural Information [52.16646463590474]
  グラフは、モーダル内およびモーダル間関係をモデル化するための強力な構造情報を提供する。 それまでの作業では、マルチホップの隣人を区別できず、グラフをスタンドアローンのモダリティとして扱う。 グラフベースのマルチモーダル学習フレームワークであるGraph4MMを提案する。
  論文  参考訳（メタデータ） (2025-10-19T20:13:03Z)
• Disentangling Homophily and Heterophily in Multimodal Graph Clustering [7.565710850295745]
  マルチモーダルグラフは非構造的異種データと構造的相互接続を統合する。 Disentangled Multimodal Graph Clustering (DMGC)は、ハイブリッドグラフを2つの相補的なビューに分解する。 DMGCは最先端のパフォーマンスを実現し、さまざまな設定におけるその有効性と一般化性を強調している。
  論文  参考訳（メタデータ） (2025-07-21T05:29:53Z)
• UniGraph2: Learning a Unified Embedding Space to Bind Multimodal Graphs [34.48393396390799]
  マルチモーダルグラフ上での汎用的な表現学習を可能にする新しいクロスドメイングラフ基盤モデルを提案する。 UniGraph2は、グラフニューラルネットワーク(GNN)と共にモダリティ固有のエンコーダを使用して、統一された低次元埋め込み空間を学習する。 我々は,UniGraph2が表現学習,伝達学習,マルチモーダル生成タスクなどのタスクにおいて,最先端モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-02T14:04:53Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。