論文の概要: Progressive Size-Adaptive Federated Learning: A Comprehensive Framework for Heterogeneous Multi-Modal Data Systems
- arxiv url: http://arxiv.org/abs/2506.20685v1
- Date: Tue, 24 Jun 2025 18:50:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-27 19:53:09.814545
- Title: Progressive Size-Adaptive Federated Learning: A Comprehensive Framework for Heterogeneous Multi-Modal Data Systems
- Title（参考訳）: プログレッシブサイズ適応型フェデレーションラーニング:不均一なマルチモーダルデータシステムのための包括的フレームワーク
- Authors: Sajid Hussain, Muhammad Sohail, Nauman Ali Khan, Naima Iltaf, Ihtesham ul Islam,
- Abstract要約: 本稿では,SAFL(Size-Based Adaptive Federated Learning)を紹介する。
SAFLは、異種マルチモーダルデータ間のデータセットサイズ特性に基づいて、フェデレーション学習を編成する。
全データセットの平均精度は87.68%で、構造化データモダリティは99%以上である。
- 参考スコア（独自算出の注目度）: 1.3348513071843515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) has emerged as a transformative paradigm for distributed machine learning while preserving data privacy. However, existing approaches predominantly focus on model heterogeneity and aggregation techniques, largely overlooking the fundamental impact of dataset size characteristics on federated training dynamics. This paper introduces Size-Based Adaptive Federated Learning (SAFL), a novel progressive training framework that systematically organizes federated learning based on dataset size characteristics across heterogeneous multi-modal data. Our comprehensive experimental evaluation across 13 diverse datasets spanning 7 modalities (vision, text, time series, audio, sensor, medical vision, and multimodal) reveals critical insights: 1) an optimal dataset size range of 1000-1500 samples for federated learning effectiveness; 2) a clear modality performance hierarchy with structured data (time series, sensor) significantly outperforming unstructured data (text, multimodal); and 3) systematic performance degradation for large datasets exceeding 2000 samples. SAFL achieves an average accuracy of 87.68% across all datasets, with structured data modalities reaching 99%+ accuracy. The framework demonstrates superior communication efficiency, reducing total data transfer to 7.38 GB across 558 communications while maintaining high performance. Our real-time monitoring framework provides unprecedented insights into system resource utilization, network efficiency, and training dynamics. This work fills critical gaps in understanding how data characteristics should drive federated learning strategies, providing both theoretical insights and practical guidance for real-world FL deployments in neural network and learning systems.
- Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保持しながら、分散機械学習の変革的パラダイムとして登場した。
しかし、既存のアプローチは主にモデルの不均一性と集約技術に重点を置いており、データセットサイズ特性がフェデレートされたトレーニングダイナミクスに与える影響を概ね見落としている。
本稿では、異種マルチモーダルデータ間のデータセットサイズ特性に基づいてフェデレート学習を体系的に組織化する、新しいプログレッシブトレーニングフレームワークであるSize-Based Adaptive Federated Learning (SAFL)を紹介する。
7つのモダリティ(ビジョン、テキスト、時系列、オーディオ、センサー、医療ビジョン、マルチモーダル)にまたがる13の多様なデータセットに対する包括的な実験的評価は、重要な洞察を明らかにします。
1) フェデレート学習効果のための1000-1500サンプルの最適データセットサイズ範囲
2)構造化データ(時系列・センサ)が非構造化データ(テキスト・マルチモーダル)を著しく上回る明確なモダリティ性能階層
3)2000サンプルを超える大規模データセットの系統的性能劣化について検討した。
SAFLはすべてのデータセットの平均精度87.68%に達し、構造化データモダリティは99%以上の精度に達する。
このフレームワークは優れた通信効率を示し、高い性能を維持しながら、558の通信で総データ転送量を7.38GBに削減した。
我々のリアルタイム監視フレームワークは、システムリソース利用、ネットワーク効率、トレーニングダイナミクスに関する前例のない洞察を提供する。
この研究は、データ特性がどのようにフェデレートされた学習戦略を駆動するかを理解する上で重要なギャップを埋め、ニューラルネットワークと学習システムにおける現実のFLデプロイメントのための理論的洞察と実践的なガイダンスを提供する。
関連論文リスト
- Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。
本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
論文 参考訳（メタデータ） (2025-02-17T18:04:39Z) - Continual Learning for Multimodal Data Fusion of a Soft Gripper [1.0589208420411014]
あるデータモダリティに基づいてトレーニングされたモデルは、異なるモダリティでテストした場合、しばしば失敗する。
異なるデータモダリティを漸進的に学習できる連続学習アルゴリズムを提案する。
我々は、アルゴリズムの有効性を、挑戦的なカスタムマルチモーダルデータセット上で評価する。
論文 参考訳（メタデータ） (2024-09-20T09:53:27Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - Towards Heterogeneous Clients with Elastic Federated Learning [45.2715985913761]
フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。
本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。
上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
論文 参考訳（メタデータ） (2021-06-17T12:30:40Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Training Data Augmentation for Deep Learning Radio Frequency Systems [1.1199585259018459]
この研究は、トレーニング中に使用されるデータに焦点を当てている。
一般に、検査されたデータ型はそれぞれ、最終アプリケーションに有用なコントリビューションを持っている。
キャプチャーデータの利点にもかかわらず、ライブコレクションから生じる困難さとコストは、ピークパフォーマンスを達成するのに必要なデータ量を非現実的にすることが多い。
論文 参考訳（メタデータ） (2020-10-01T02:26:16Z) - Federated Visual Classification with Real-World Data Distribution [9.564468846277366]
我々は,FedAvg(Federated Averaging)アルゴリズムのベンチマークを用いて,実世界のデータ分布が分散学習に与える影響を特徴付ける。
種別とランドマーク分類のための2つの新しい大規模データセットを導入し,ユーザ毎のデータ分割を現実的に行う。
また、2つの新しいアルゴリズム(FedVC、FedIR)も開発しています。
論文 参考訳（メタデータ） (2020-03-18T07:55:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。