論文の概要: Multimodal Online Federated Learning with Modality Missing in Internet of Things

• arxiv url: http://arxiv.org/abs/2505.16138v1
• Date: Thu, 22 May 2025 02:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.984118
• Title: Multimodal Online Federated Learning with Modality Missing in Internet of Things
• Title（参考訳）: モノのインターネットにおけるモダリティを欠いたマルチモーダルオンラインフェデレーションラーニング
• Authors: Heqiang Wang, Xiang Liu, Xiaoxiong Zhong, Lixing Chen, Fangming Liu, Weizhe Zhang,
• Abstract要約: IoT(Internet of Things)エコシステムは,センサやカメラ,マイクといった異質なソースから,膨大な量のマルチモーダルデータを生成する。 エッジインテリジェンスが進化を続けるにつれ、IoTデバイスは、単純なデータ収集ユニットから、複雑な計算タスクを実行可能なノードへと進化してきた。 我々は,IoT環境における動的かつ分散化されたマルチモーダル学習のための新しいフレームワークであるMMO-FLの概念を紹介した。
• 参考スコア（独自算出の注目度）: 22.814768356671276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Internet of Things (IoT) ecosystem generates vast amounts of multimodal data from heterogeneous sources such as sensors, cameras, and microphones. As edge intelligence continues to evolve, IoT devices have progressed from simple data collection units to nodes capable of executing complex computational tasks. This evolution necessitates the adoption of distributed learning strategies to effectively handle multimodal data in an IoT environment. Furthermore, the real-time nature of data collection and limited local storage on edge devices in IoT call for an online learning paradigm. To address these challenges, we introduce the concept of Multimodal Online Federated Learning (MMO-FL), a novel framework designed for dynamic and decentralized multimodal learning in IoT environments. Building on this framework, we further account for the inherent instability of edge devices, which frequently results in missing modalities during the learning process. We conduct a comprehensive theoretical analysis under both complete and missing modality scenarios, providing insights into the performance degradation caused by missing modalities. To mitigate the impact of modality missing, we propose the Prototypical Modality Mitigation (PMM) algorithm, which leverages prototype learning to effectively compensate for missing modalities. Experimental results on two multimodal datasets further demonstrate the superior performance of PMM compared to benchmarks.
• Abstract（参考訳）: IoT(Internet of Things)エコシステムは,センサやカメラ,マイクといった異質なソースから,膨大な量のマルチモーダルデータを生成する。 エッジインテリジェンスが進化を続けるにつれ、IoTデバイスは、単純なデータ収集ユニットから、複雑な計算タスクを実行可能なノードへと進化してきた。 この進化は、IoT環境でマルチモーダルデータを効果的に扱うために、分散学習戦略を採用する必要がある。 さらに、IoTにおけるデータ収集とエッジデバイス上のローカルストレージの制限というリアルタイムの性質は、オンライン学習パラダイムを求めている。 これらの課題に対処するために、IoT環境で動的かつ分散化されたマルチモーダル学習用に設計された新しいフレームワークであるMMO-FL(Multimodal Online Federated Learning)の概念を紹介した。 この枠組みに基づいて、エッジデバイス固有の不安定性についてさらに説明し、学習過程におけるモダリティの欠如をしばしば引き起こす。 我々は、完全かつ欠落したモダリティシナリオの両方の下で包括的な理論的解析を行い、欠落したモダリティによる性能劣化に関する洞察を提供する。 モダリティの欠如の影響を軽減するために,プロトタイプ学習を活用し,モダリティの欠如を効果的に補償するプロトタイプ型モダリティ緩和(PMM)アルゴリズムを提案する。 2つのマルチモーダルデータセットの実験結果は、ベンチマークと比較してPMMの優れた性能を示す。

関連論文リスト

• On-device edge learning for IoT data streams: a survey [1.7186863539230333]
  本稿では,ニューラルネットワーク(NN)と決定木(DT)の文脈におけるデバイス上でのトレーニングのための連続的学習手法について検討する。 データアーキテクチャ(バッチ対ストリーム)やネットワーク容量(クラウド対エッジ)といった重要な制約を強調します。 調査では、リソース制約のあるエッジデバイスにディープラーニングをデプロイする際の課題について詳述している。
  論文  参考訳（メタデータ） (2025-02-25T02:41:23Z)
• A Low-Complexity Plug-and-Play Deep Learning Model for Massive MIMO Precoding Across Sites [5.896656636095934]
  MMIMO技術は、スペクトル効率とネットワーク容量を向上させることで、無線通信を変革した。 本稿では,既存のアプローチの複雑性問題に対処するための,新しいディープラーニングベースのmMIMOプリコーダを提案する。
  論文  参考訳（メタデータ） (2025-02-12T20:02:36Z)
• Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
  我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。 実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:16:37Z)
• Exploring Missing Modality in Multimodal Egocentric Datasets [89.76463983679058]
  モダリティが欠如している場合でも,MMT(Missing Modality Token)という新しい概念を導入してパフォーマンスを維持する。 テストセットの半分がモダル不完全である場合、元の$sim 30%$ dropから$sim 10%$に減らします。
  論文  参考訳（メタデータ） (2024-01-21T11:55:42Z)
• MultiIoT: Benchmarking Machine Learning for the Internet of Things [70.74131118309967]
  次世代の機械学習システムは、物理的世界に対する知覚と相互作用に長けなければならない。 運動、熱、位置情報、深度、無線信号、ビデオ、オーディオからの知覚データは、物理環境の状態をモデル化するためにますます使われています。 既存の取り組みは、しばしば単一の感覚的モダリティまたは予測タスクに特化している。 本稿は、12のモダリティと8つの現実世界タスクから115万以上のサンプルを含む、これまでで最も拡張的で統一されたIoTベンチマークであるMultiIoTを提案する。
  論文  参考訳（メタデータ） (2023-11-10T18:13:08Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• A Federated Learning Approach to Anomaly Detection in Smart Buildings [5.177947445379688]
  マルチタスク学習パラダイムを活用することにより,連合学習環境における異常検出問題を定式化する。 本稿では,LSTMモデルを用いた新しいプライバシ・バイ・デザイン・フェデレーション学習モデルを提案する。 集中型LSTMに比べてトレーニング収束時の2倍以上の速さであることが実証された。
  論文  参考訳（メタデータ） (2020-10-20T14:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。