論文の概要: Adaptive Dual-Mode Distillation with Incentive Schemes for Scalable, Heterogeneous Federated Learning on Non-IID Data

• arxiv url: http://arxiv.org/abs/2509.22507v1
• Date: Fri, 26 Sep 2025 15:48:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.56324
• Title: Adaptive Dual-Mode Distillation with Incentive Schemes for Scalable, Heterogeneous Federated Learning on Non-IID Data
• Title（参考訳）: 非IIDデータに基づくスケーラブルで不均一なフェデレーション学習のためのインセンティブ・スキームを用いた適応的デュアルモード蒸留
• Authors: Zahid Iqbal,
• Abstract要約: Federated Learning(FL)は、ユーザプライバシを損なうことなく分散データの使用を可能にする、有望な分散学習(DL)アプローチとして登場した。 すべてのクライアントが同じ機械学習モデルをトレーニングできると仮定されるが、ビジネスニーズと計算資源の違いにより、すべてのクライアントがこの仮定を満たすことはできない。 統計的不均一性の文脈における効率、プライバシー保護、コミュニケーション効率の学習を容易にするDL-SHと、統計的格差に対処しながら完全に異種モデルを管理するためのDL-MHと、インセンティブに基づくインセンティブベースの拡張であるI-DL-MHを提案する。
• 参考スコア（独自算出の注目度）: 0.7880536261408863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) has emerged as a promising decentralized learning (DL) approach that enables the use of distributed data without compromising user privacy. However, FL poses several key challenges. First, it is frequently assumed that every client can train the same machine learning models, however, not all clients are able to meet this assumption because of differences in their business needs and computational resources. Second, statistical heterogeneity (a.k.a. non-IID data) poses a major challenge in FL, which can lead to lower global model performance. Third, while addressing these challenges, there is a need for a cost-effective incentive mechanism to encourage clients to participate in FL training. In response to these challenges, we propose several methodologies: DL-SH, which facilitates efficient, privacy-preserving, and communication-efficient learning in the context of statistical heterogeneity; DL-MH, designed to manage fully heterogeneous models while tackling statistical disparities; and I-DL-MH, an incentive-based extension of DL-MH that promotes client engagement in federated learning training by providing incentives within this complex federated learning framework. Comprehensive experiments were carried out to assess the performance and scalability of the proposed approaches across a range of complex experimental settings. This involved utilizing various model architectures, in diverse data distributions, including IID and several non-IID scenarios, as well as multiple datasets. Experimental results demonstrate that the proposed approaches significantly enhance accuracy and decrease communication costs while effectively addressing statistical heterogeneity and model heterogeneity in comparison to existing state-of-the-art approaches and baselines, with DL-SH improving global model accuracy by 153%, and I-DL-MH achieving a 225% improvement under non-IID conditions.
• Abstract（参考訳）: Federated Learning(FL)は、ユーザプライバシを損なうことなく分散データの使用を可能にする、有望な分散学習(DL)アプローチとして登場した。 しかし、FLはいくつかの重要な課題を提起している。 まず、すべてのクライアントが同じ機械学習モデルをトレーニングできると仮定されるが、ビジネスニーズと計算資源の違いのため、すべてのクライアントがこの仮定を満たすことはできない。 第2に、統計的不均一性(すなわち非IIDデータ)は、FLにおいて大きな課題となり、グローバルモデルの性能が低下する可能性がある。 第三に、これらの課題に対処する一方で、顧客をFLトレーニングに参加させるためのコスト効果の高いインセンティブメカニズムが必要である。 これらの課題に対応するために, 統計的不均一性の観点から, 効率, プライバシー保護, コミュニケーション効率のよい学習を容易にするDL-SH, 統計的不均一性に対処しながら, 完全異種モデルを管理するために設計されたDL-MH, 複雑な統合学習フレームワーク内でのインセンティブを提供することで, 統合学習訓練におけるクライアントのエンゲージメントを促進するDL-MHを提案する。 提案手法の性能と拡張性を評価するための総合的な実験を行った。 これには、IDやいくつかの非IIDシナリオを含む多様なデータ分散や、複数のデータセットなど、さまざまなモデルアーキテクチャの利用が含まれていた。 実験の結果,提案手法は,既存の最先端アプローチやベースラインと比較して,統計的不均一性やモデル不均一性を効果的に解決しつつ,精度を著しく向上し,通信コストを低減し,また,非IID条件下では225%の精度向上を実現していることがわかった。

関連論文リスト

• Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
  Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。 動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。 これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-14T16:19:00Z)
• Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift [2.298932494750101]
  クライアント側トレーニング分布の不整合がフェデレート学習モデルの性能を著しく低下させることを示す。 本稿では,ニューラルネットワークの疎結合性,冗長性,堅牢性を改善するために,フラニングとクライアントトレーニングの正規化を組み合わせた新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T16:22:37Z)
• Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
  スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。 フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。 本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-10T04:03:09Z)
• FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
  フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。 我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。 提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
  論文  参考訳（メタデータ） (2024-10-17T22:47:19Z)
• DynamicFL: Federated Learning with Dynamic Communication Resource Allocation [34.97472382870816]
  Federated Learning(FL)は、複数のユーザがローカルデータを使ってモデルを分散的にトレーニングできる、協調的な機械学習フレームワークである。 我々は,グローバルモデルの性能と通信コストのトレードオフを調査する新しいFLフレームワークであるDynamicFLを紹介する。 モデル精度は最大10%向上し,DynamicFLは最先端の手法を超越していることを示す。
  論文  参考訳（メタデータ） (2024-09-08T05:53:32Z)
• One-Shot Sequential Federated Learning for Non-IID Data by Enhancing Local Model Diversity [26.09617693587105]
  我々は,局所モデルの多様性向上戦略を提案することにより,非IIDデータに対する一発の逐次フェデレーション学習を改善する。 提案手法は,既存のワンショットPFL法よりも優れた性能を示し,最先端のワンショットSFL法と比較して精度が向上する。
  論文  参考訳（メタデータ） (2024-04-18T12:31:48Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [55.0981921695672]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。