論文の概要: Towards Robust Federated Multimodal Graph Learning under Modality Heterogeneity

• arxiv url: http://arxiv.org/abs/2605.12584v1
• Date: Tue, 12 May 2026 17:30:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.594644
• Title: Towards Robust Federated Multimodal Graph Learning under Modality Heterogeneity
• Title（参考訳）: モダリティの不均一性を考慮したロバストな多モードグラフ学習に向けて
• Authors: Sirui Zhang, Haonan Wang, Xunkai Li, Zekai Chen, Shumeng Li, Hongchao Qin, Rong-Hua Li, Guoren Wang,
• Abstract要約: 実世界のグラフは、複数のパーティにまたがるデータ共有の制限のために、しばしば分離される。 我々は、トポロジ対応のクロスモーダル生成を利用して、欠落した特徴を復元する scFedMPO を提案する。 6つのデータセットにわたる3つのタスクの実験は、FedMPOがベースラインを上回っていることを示している。
• 参考スコア（独自算出の注目度）: 49.44748281840733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, multimodal graph learning (MGL) has garnered significant attention for integrating diverse modality information and structured context to support various network applications. However, real-world graphs are often isolated due to data-sharing limitations across multiple parties, and their modalities are frequently incomplete. This highlights an urgent need to develop a robust federated approach. However, we find that existing methods remain insufficient. On the one hand, centralized MGL methods that handle missing modalities overlook the knowledge sharing and generalization in federated scenarios. On the other hand, while federated MGL methods have become increasingly mature, they primarily target non-graph data. Based on these technologies, we identify a two-stage pipeline wherein client-side completion reconstructs missing modalities, and server-side aggregation integrates the client-updated parameters of both the modality generator and the backbone models. Although this serves as a general solution, we identify two primary challenges in achieving greater robustness: (1) Topology-Isolated Local Completion: Client-side modality generation struggles to effectively leverage global semantics. (2) Reliability-Imbalanced Global Aggregation: Server-side multi-party collaboration is hindered by client updates with varying modality availability and recovery reliability. To address these challenges, we propose \textsc{FedMPO}, which utilizes topology-aware cross-modal generation to recover missing features using comprehensive graph context, missing-aware expert routing to locally filter out noisy recovered signals, and reliability-aware aggregation to appropriately down-weight unreliable updates. Extensive experiments on 3 tasks across 6 datasets demonstrate that FedMPO outperforms baselines, achieving performance gains of up to 4.10% and 5.65% in high-missing and non-IID settings.
• Abstract（参考訳）: 近年,マルチモーダルグラフ学習 (MGL) が注目されている。 しかし、実世界のグラフは複数のパーティにまたがるデータ共有の制限のためにしばしば孤立しており、それらのモダリティはしばしば不完全である。 これは、堅牢なフェデレーションアプローチを開発する緊急の必要性を強調します。 しかし,既存の手法は依然として不十分である。 一方、欠落したモダリティを扱う集中型MGL手法は、フェデレートされたシナリオにおける知識共有と一般化を見落としている。 一方、フェデレートされたMGL法は成熟する一方、主に非グラフデータをターゲットにしている。 これらの技術に基づいて、クライアント側補完が欠落したモダリティを再構築する2段階パイプラインを特定し、サーバ側集約は、モダリティジェネレータとバックボーンモデルの両方のクライアント更新パラメータを統合する。 1) 局所補完: クライアント側のモダリティ生成はグローバルなセマンティクスを効果的に活用するのに苦労する。 2) 信頼性と不均衡なグローバルアグリゲーション: サーバサイドの複数パーティのコラボレーションは、クライアントの更新によって妨げられ、様々なモダリティの可用性とリカバリの信頼性が向上する。 これらの課題に対処するために、トポロジ対応のクロスモーダル生成を利用して、包括的なグラフコンテキスト、ノイズの回復した信号を局所的にフィルタリングする未認識エキスパートルーティング、信頼性対応アグリゲーションを用いて、信頼性の低い更新を適切に除去する。 6つのデータセットにわたる3つのタスクに関する大規模な実験により、FedMPOはベースラインを上回り、ハイミッションおよび非IID設定で最大4.10%と5.65%のパフォーマンス向上を達成した。

関連論文リスト

• Robust Multimodal Recommendation via Graph Retrieval-Enhanced Modality Completion [71.20734649881258]
  実世界のマルチモーダルデータセットは、センサーの故障、アノテーションの不足、プライバシーの制約によって、しばしばモダリティの不完全性に悩まされる。 効果的な解決策の1つはモダリティ補完であり、下流タスクのためのモダリティ完全グラフを提供するために欠落した特徴を再構成する。 本稿では,これらの制限を克服するグラフ検索拡張モード補完フレームワークであるGRE-MCを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:50:52Z)
• OWLEYE: Zero-Shot Learner for Cross-Domain Graph Data Anomaly Detection [48.77471686671269]
  OWLEYEは、複数のグラフから正常な振る舞いの伝達可能なパターンを学習する新しいフレームワークである。 OWLEYEは最先端のベースラインに比べて性能と一般化性が優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-27T02:08:18Z)
• FedMAC: Tackling Partial-Modality Missing in Federated Learning with Cross-Modal Aggregation and Contrastive Regularization [18.276480518649404]
  Federated Learning(FL)は、分散データソースを使用して機械学習モデルをトレーニングする手法である。 本研究ではFedMACという新しいフレームワークを提案し,FLに欠落した部分モダリティ条件下でのマルチモダリティの解消を図った。
  論文  参考訳（メタデータ） (2024-10-04T01:24:02Z)
• Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
  我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。 FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。 実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-16T19:18:06Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [55.0981921695672]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis [47.29528724322795]
  マルチモーダルセンシング分析(MSA)が近年注目を集めている。 著しい進歩にもかかわらず、堅牢なMSAへの道にはまだ2つの大きな課題がある。 デュアルレベル特徴回復 (EMT-DLFR) を用いた高効率マルチモーダル変圧器 (Efficient Multimodal Transformer) を提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。