論文の概要: FedMobile: Enabling Knowledge Contribution-aware Multi-modal Federated Learning with Incomplete Modalities

• arxiv url: http://arxiv.org/abs/2502.15839v1
• Date: Thu, 20 Feb 2025 15:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:57:24.271286
• Title: FedMobile: Enabling Knowledge Contribution-aware Multi-modal Federated Learning with Incomplete Modalities
• Title（参考訳）: FedMobile:不完全なモダリティによる知識貢献型マルチモーダル・フェデレーション学習の実現
• Authors: Yi Liu, Cong Wang, Xingliang Yuan,
• Abstract要約: マルチモーダルFLを用いたモバイルセンシングシステムにおける鍵となる課題は、モダリティの不完全性である。 現在のマルチモーダルFLフレームワークは、通常、複数のユニモーダルFLサブシステムをトレーニングするか、ノード側にテクニックを適用して、欠落したモダリティを近似する。 我々は、モダリティの欠如にもかかわらず頑健な学習のために設計された、新しい知識貢献型マルチモーダルFLフレームワークであるFedMobileを紹介する。
• 参考スコア（独自算出の注目度）: 15.771749047384535
• License:
• Abstract: The Web of Things (WoT) enhances interoperability across web-based and ubiquitous computing platforms while complementing existing IoT standards. The multimodal Federated Learning (FL) paradigm has been introduced to enhance WoT by enabling the fusion of multi-source mobile sensing data while preserving privacy. However, a key challenge in mobile sensing systems using multimodal FL is modality incompleteness, where some modalities may be unavailable or only partially captured, potentially degrading the system's performance and reliability. Current multimodal FL frameworks typically train multiple unimodal FL subsystems or apply interpolation techniques on the node side to approximate missing modalities. However, these approaches overlook the shared latent feature space among incomplete modalities across different nodes and fail to discriminate against low-quality nodes. To address this gap, we present FedMobile, a new knowledge contribution-aware multimodal FL framework designed for robust learning despite missing modalities. FedMobile prioritizes local-to-global knowledge transfer, leveraging cross-node multimodal feature information to reconstruct missing features. It also enhances system performance and resilience to modality heterogeneity through rigorous node contribution assessments and knowledge contribution-aware aggregation rules. Empirical evaluations on five widely recognized multimodal benchmark datasets demonstrate that FedMobile maintains robust learning even when up to 90% of modality information is missing or when data from two modalities are randomly missing, outperforming state-of-the-art baselines.
• Abstract（参考訳）: Web of Things(WoT)は、既存のIoT標準を補完しながら、Webベースおよびユビキタスコンピューティングプラットフォーム間の相互運用性を強化する。 マルチモーダル・フェデレート・ラーニング(FL)パラダイムは、プライバシーを維持しながらマルチソースモバイルセンシングデータの融合を可能にすることで、WoTを強化するために導入された。 しかし、マルチモーダルFLを用いたモバイルセンシングシステムにおける重要な課題は、モダリティの不完全性であり、いくつかのモダリティは利用できないか、部分的にのみキャプチャされ、システムの性能と信頼性が低下する可能性がある。 現在のマルチモーダルFLフレームワークは、通常、複数のユニモーダルFLサブシステムを訓練するか、ノード側で補間技術を適用して、欠落したモダリティを近似する。 しかし、これらのアプローチは、異なるノード間の不完全なモダリティ間の共有潜在的特徴空間を見落とし、低品質ノードに対する識別に失敗する。 このギャップに対処するため、FedMobileは、モダリティの欠如にもかかわらず頑健な学習のために設計された新しい知識貢献型マルチモーダルFLフレームワークである。 FedMobileは、欠落した機能を再構築するために、クロスノードのマルチモーダル特徴情報を活用する、ローカルからグローバルへの知識伝達を優先している。 また、厳密なノード寄与評価と知識貢献を考慮した集約ルールにより、システム性能とモダリティの不均一性に対するレジリエンスを高める。 5つの広く認識されているマルチモーダルベンチマークデータセットに対する実証的な評価は、FedMobileがモダリティ情報の最大90%が欠落している場合や、2つのモダリティからのデータがランダムに欠落している場合であっても、堅牢な学習を維持していることを示している。

関連論文リスト

• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Multimodal Informative ViT: Information Aggregation and Distribution for Hyperspectral and LiDAR Classification [25.254816993934746]
  Multimodal Informative Vit (MIVit) は革新的な情報集約配信機構を備えたシステムである。 MIVitは、各モードの分離されたおよび融合された特徴の実験的分布における冗長性を減少させる。 以上の結果から,MIVitの双方向凝集分配機構は極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-06T09:53:33Z)
• Balanced Multi-modal Federated Learning via Cross-Modal Infiltration [19.513099949266156]
  フェデレートラーニング(FL)は、プライバシを保存する分散コンピューティングの進歩を支えている。 本稿では,新しいクロスモーダル・インフィルティング・フェデレート・ラーニング(FedCMI)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-31T05:50:15Z)
• FedMFS: Federated Multimodal Fusion Learning with Selective Modality Communication [11.254610576923204]
  選択的モーダル通信を用いたFedMFS(Federated Multimodal Fusion Learning)を提案する。 鍵となる考え方は、各デバイスに対するモダリティ選択基準の導入であり、(i)Shapley値解析によって測定されたモダリティの影響を重み付けし、(ii)モダリティモデルサイズを通信オーバーヘッドの指標とする。 実世界のActionSenseデータセットの実験では、FedMFSが複数のベースラインに匹敵する精度を達成し、通信オーバーヘッドを4倍に削減できることを示した。
  論文  参考訳（メタデータ） (2023-10-10T22:23:27Z)
• FedMEKT: Distillation-based Embedding Knowledge Transfer for Multimodal Federated Learning [42.84295556492631]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、汎用グローバルモデルを共同でトレーニングするための分散機械学習パラダイムを可能にする。 既存のほとんどの研究は、単一モーダルデータのための典型的なFLシステムを提案しており、将来のパーソナライズされたアプリケーションのために価値あるマルチモーダルデータを利用する可能性を制限する。 本稿では,様々なモダリティから表現を活用すべく,半教師付き学習アプローチを用いた新しいマルチモーダルFLフレームワークを提案する。 この概念をシステムに組み込むことで,小型マルチモーダルから抽出した学習モデルの連関知識をサーバとクライアントが交換できる蒸留型多モーダル埋め込み知識伝達機構であるFedMEKTを開発した。
  論文  参考訳（メタデータ） (2023-07-25T02:55:33Z)
• FedMultimodal: A Benchmark For Multimodal Federated Learning [45.0258566979478]
  フェデレートラーニング(FL)は、データプライバシの課題に取り組むための、新たな機械学習技術になりつつある。 コンピュータビジョン、オーディオ、自然言語処理などの分野でFLに多大な努力を払っているにもかかわらず、マルチモーダルデータストリームを利用したFLアプリケーションは、ほとんど探索されていない。 FedMultimodalは10個の一般的なデータセットから5つの代表的マルチモーダルアプリケーションをカバーするマルチモーダル学習のための最初のFLベンチマークである。
  論文  参考訳（メタデータ） (2023-06-15T20:31:26Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
  LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。 我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:39:36Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。