論文の概要: Federated Multiple Label Hashing (FedMLH): Communication Efficient
Federated Learning on Extreme Classification Tasks
- arxiv url: http://arxiv.org/abs/2110.12292v1
- Date: Sat, 23 Oct 2021 20:25:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 16:31:49.675593
- Title: Federated Multiple Label Hashing (FedMLH): Communication Efficient
Federated Learning on Extreme Classification Tasks
- Title（参考訳）: Federated Multiple Label Hashing (FedMLH): 極端分類課題におけるコミュニケーション効率のよいフェデレーション学習
- Authors: Zhenwei Dai, Chen Dun, Yuxin Tang, Anastasios Kyrillidis, Anshumali
Shrivastava
- Abstract要約: フェデレーション学習は、多くのローカルデバイスが、ローカルデータを共有せずに、ディープラーニングモデルを共同でトレーニングすることを可能にする。
現在、ほとんどのフェデレートトレーニングスキームは、局所モデルのパラメータを平均化し、グローバルモデルを学ぶ。
モデルサイズを同時に削減するためにラベルハッシュを利用するフェデレート多重ハッシュ(FedMLH)を提案する。
- 参考スコア（独自算出の注目度）: 38.740315375765924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning enables many local devices to train a deep learning model
jointly without sharing the local data. Currently, most of federated training
schemes learns a global model by averaging the parameters of local models.
However, most of these training schemes suffer from high communication cost
resulted from transmitting full local model parameters. Moreover, directly
averaging model parameters leads to a significant performance degradation, due
to the class-imbalanced non-iid data on different devices. Especially for the
real life federated learning tasks involving extreme classification, (1)
communication becomes the main bottleneck since the model size increases
proportionally to the number of output classes; (2) extreme classification
(such as user recommendation) normally have extremely imbalanced classes and
heterogeneous data on different devices. To overcome this problem, we propose
federated multiple label hashing (FedMLH), which leverages label hashing to
simultaneously reduce the model size (up to 3.40X decrease) with communication
cost (up to 18.75X decrease) and achieves significant better accuracy (up to
35.5%} relative accuracy improvement) and faster convergence rate (up to 5.5X
increase) for free on the federated extreme classification tasks compared to
federated average algorithm.
- Abstract（参考訳）: フェデレーション学習は、多くのローカルデバイスが、ローカルデータを共有せずに、ディープラーニングモデルを共同でトレーニングすることを可能にする。
現在、連合トレーニングスキームのほとんどは、局所モデルのパラメータを平均することでグローバルモデルを学ぶ。
しかしながら、これらのトレーニングスキームの多くは、完全なローカルモデルパラメータの送信によって生じる、高い通信コストに苦しむ。
さらに、モデルパラメータの直接平均化は、異なるデバイス上のクラス不均衡な非IDデータのために、大幅な性能劣化をもたらす。
特に、極端な分類を含む実生活連帯学習タスクでは、(1)モデルのサイズが出力クラス数に比例して増加するため、コミュニケーションが主要なボトルネックとなり、(2)極端な分類(ユーザの推薦など)は、通常、異なるデバイス上で非常に不均衡なクラスと異種データを持つ。
そこで本研究では,fedmlh(federated multiple label hashing)を提案する。fedmlh(federated multiple label hashing)は,通信コスト(最大18.75倍)とモデルサイズ(最大3.40倍削減)を同時に削減し,高い精度(最大35.5%の相対精度向上)と,最大5.5倍の収束率(最大5.5倍増加)を達成する。
関連論文リスト
- Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。
非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。
我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文 参考訳（メタデータ） (2023-12-11T10:44:52Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳（メタデータ） (2023-11-14T14:37:33Z) - Federated Meta-Learning for Few-Shot Fault Diagnosis with Representation
Encoding [21.76802204235636]
本稿では,数発の故障診断のための表現符号化ベースフェデレーションメタラーニング(REFML)を提案する。
REFMLは、トレーニングクライアントの固有の一般化を活用して、効果的に、アウト・オブ・ディストリビューションの利点に変換する。
同じ機器の非表示作業条件でテストすると2.17%-6.50%、全く見えない機器でテストすると13.44%-18.33%の精度で精度が向上する。
論文 参考訳（メタデータ） (2023-10-13T10:48:28Z) - FedET: A Communication-Efficient Federated Class-Incremental Learning
Framework Based on Enhanced Transformer [42.19443600254834]
本稿では,FedET(Federated Enhanced Transformer)という新しいフレームワークを提案する。
FedETは、小さなモジュールであるEnhancerを使って、新しい知識を吸収し、伝達する。
代表的なベンチマークデータセットにおけるFedETの平均精度は、最先端の手法よりも14.1%高い。
論文 参考訳（メタデータ） (2023-06-27T10:00:06Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文 参考訳（メタデータ） (2022-06-21T17:23:06Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳（メタデータ） (2022-02-23T10:08:43Z) - Adaptive Quantization of Model Updates for Communication-Efficient
Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。
グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。
通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文 参考訳（メタデータ） (2021-02-08T19:14:21Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。