論文の概要: Hyper-modal Imputation Diffusion Embedding with Dual-Distillation for Federated Multimodal Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2506.22036v1
• Date: Fri, 27 Jun 2025 09:32:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.147558
• Title: Hyper-modal Imputation Diffusion Embedding with Dual-Distillation for Federated Multimodal Knowledge Graph Completion
• Title（参考訳）: フェデレーションマルチモーダル知識グラフ補完のためのデュアル蒸留を用いたハイパーモーダルインプット拡散
• Authors: Ying Zhang, Yu Zhao, Xuhui Sui, Baohang Zhou, Xiangrui Cai, Li Shen, Xiaojie Yuan, Dacheng Tao,
• Abstract要約: 本稿では,FedMKGCのマルチモーダル不確実性とマルチモーダルクライアントの不均一性問題に対処するMMFeD3-HidEというフレームワークを提案する。 本稿では,MMFedEという一般的なFedMKGCバックボーン,異種マルチモーダル情報を持つデータセット,構築されたベースラインの3つのグループからなる総合評価のためのFedMKGCベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 59.54067771781552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing multimodal knowledge privatization requirements, multimodal knowledge graphs in different institutes are usually decentralized, lacking of effective collaboration system with both stronger reasoning ability and transmission safety guarantees. In this paper, we propose the Federated Multimodal Knowledge Graph Completion (FedMKGC) task, aiming at training over federated MKGs for better predicting the missing links in clients without sharing sensitive knowledge. We propose a framework named MMFeD3-HidE for addressing multimodal uncertain unavailability and multimodal client heterogeneity challenges of FedMKGC. (1) Inside the clients, our proposed Hyper-modal Imputation Diffusion Embedding model (HidE) recovers the complete multimodal distributions from incomplete entity embeddings constrained by available modalities. (2) Among clients, our proposed Multimodal FeDerated Dual Distillation (MMFeD3) transfers knowledge mutually between clients and the server with logit and feature distillation to improve both global convergence and semantic consistency. We propose a FedMKGC benchmark for a comprehensive evaluation, consisting of a general FedMKGC backbone named MMFedE, datasets with heterogeneous multimodal information, and three groups of constructed baselines. Experiments conducted on our benchmark validate the effectiveness, semantic consistency, and convergence robustness of MMFeD3-HidE.
• Abstract（参考訳）: マルチモーダル知識の民営化要件の増大に伴い、異なる機関のマルチモーダル知識グラフは通常分散化され、より強力な推論能力と送信安全保証を備えた効果的なコラボレーションシステムが欠如している。 本稿では,FedMKGC(Federated Multimodal Knowledge Graph Completion, FedMKGC)タスクを提案する。 本稿では,FedMKGCのマルチモーダル不確実性とマルチモーダルクライアントの不均一性問題に対処するMMFeD3-HidEというフレームワークを提案する。 1)提案したハイパーモーダルインプット拡散埋め込みモデル(HidE)は,利用可能なモダリティに制約された不完全なエンティティ埋め込みから完全なマルチモーダル分布を復元する。 2) 提案した多モードFeDerated Dual Distillation (MMFeD3) は, クライアントとサーバ間で相互に知識を伝達し, グローバルコンバージェンスとセマンティクスの整合性を改善する。 本稿では,MMFedEという一般的なFedMKGCバックボーン,異種マルチモーダル情報を持つデータセット,構築されたベースラインの3つのグループからなる総合評価のためのFedMKGCベンチマークを提案する。 MMFeD3-HidEの有効性, 意味的整合性, 収束性について検討した。

関連論文リスト

• BiXFormer: A Robust Framework for Maximizing Modality Effectiveness in Multi-Modal Semantic Segmentation [55.486872677160015]
  マスクレベルの分類タスクとしてマルチモーダルなセマンティックセグメンテーションを再構成する。 統一モダリティマッチング(UMM)とクロスモダリティアライメント(CMA)を統合したBiXFormerを提案する。 合成および実世界のマルチモーダルベンチマーク実験により,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-04T08:04:58Z)
• CoRe-MMRAG: Cross-Source Knowledge Reconciliation for Multimodal RAG [53.950029990391066]
  マルチモーダルRAG(CoRe-MMRAG)のためのクロスソース知識textbfReconciliation 本稿では,知識ソース間の不整合を効果的に解決する新しいエンドツーエンドフレームワークを提案する。 KB-VQAベンチマークの実験では、CoRe-MMRAGはベースライン法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-06-03T07:32:40Z)
• Sparsely Multimodal Data Fusion [0.0]
  本稿では,3つのマルチモーダル埋め込み技術,modal Channel Attention (MCA), Zorro, and Everything at Once (EAO)の比較検討を行った。 MCAは、入力モダリティのすべての組み合わせに融合埋め込みを導入し、注意マスキングを使用して異なる注意チャネルを作成する。 MCAは単相および核融合埋め込みにおける頑健な均一性を維持することにより優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-03-29T16:49:40Z)
• FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology [3.802258033231335]
  Federated Multi-Modal (FedMM) は、複数の単一モード特徴抽出器を訓練し、その後の分類性能を向上させる学習フレームワークである。 FedMMは、精度とAUCメトリクスの2つのベースラインを特に上回っている。
  論文  参考訳（メタデータ） (2024-02-24T16:58:42Z)
• Examining Modality Incongruity in Multimodal Federated Learning for Medical Vision and Language-based Disease Detection [7.515840210206994]
  異なるクライアントにおけるモダリティの欠如の影響は、モダリティの不整合(modality incongruity)とも呼ばれるが、非常に見過ごされている。 本稿では、初めて、モダリティの不整合の影響を解析し、参加するクライアント間のデータ不均一性との関係を明らかにする。
  論文  参考訳（メタデータ） (2024-02-07T22:16:53Z)
• Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
  動的マルチモーダル融合は、有望な学習パラダイムとして現れる。 広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。 本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。 QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-03T08:32:35Z)
• Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation [16.308470947384134]
  HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。 我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。 一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2023-03-27T07:07:33Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。