論文の概要: Mix2FLD: Downlink Federated Learning After Uplink Federated Distillation
With Two-Way Mixup
- arxiv url: http://arxiv.org/abs/2006.09801v1
- Date: Wed, 17 Jun 2020 12:08:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:32:37.405686
- Title: Mix2FLD: Downlink Federated Learning After Uplink Federated Distillation
With Two-Way Mixup
- Title(参考訳): Mix2FLD: 2-Way混合によるアップリンク蒸留後のダウンリンクフェデレーション学習
- Authors: Seungeun Oh, Jihong Park, Eunjeong Jeong, Hyesung Kim, Mehdi Bennis,
Seong-Lyun Kim
- Abstract要約: Mix2FLDは、通信効率とプライバシ保護のための分散機械学習フレームワークである。
テスト精度は最大16.7%向上し、非対称なアップリンクダウンリンクチャネルでは収束時間を最大18.8%削減できる。
- 参考スコア(独自算出の注目度): 39.18544225605351
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This letter proposes a novel communication-efficient and privacy-preserving
distributed machine learning framework, coined Mix2FLD. To address
uplink-downlink capacity asymmetry, local model outputs are uploaded to a
server in the uplink as in federated distillation (FD), whereas global model
parameters are downloaded in the downlink as in federated learning (FL). This
requires a model output-to-parameter conversion at the server, after collecting
additional data samples from devices. To preserve privacy while not
compromising accuracy, linearly mixed-up local samples are uploaded, and
inversely mixed up across different devices at the server. Numerical
evaluations show that Mix2FLD achieves up to 16.7% higher test accuracy while
reducing convergence time by up to 18.8% under asymmetric uplink-downlink
channels compared to FL.
- Abstract(参考訳): このレターでは、Mix2FLDという新しい通信効率とプライバシ保護のための分散機械学習フレームワークを提案する。
アップリンク・ダウンリンク容量の非対称性に対処するために、フェデレーション蒸留(fd)のようにアップリンク内のサーバにローカルモデル出力をアップロードし、フェデレーション学習(fl)のようにダウンリンクにグローバルモデルパラメータをダウンロードする。
これは、デバイスから追加のデータサンプルを収集した後、サーバーでモデル出力からパラメータへの変換を必要とする。
精度を損なうことなくプライバシを維持するため、ローカルサンプルを線形に混合してアップロードし、サーバの異なるデバイス間で逆混合する。
数値評価の結果、Mix2FLDはFLに比べて最大16.7%高い精度でコンバージェンス時間を最大18.8%削減できることがわかった。
関連論文リスト
- Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。
そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
論文 参考訳(メタデータ) (2024-08-19T07:43:35Z) - MergeSFL: Split Federated Learning with Feature Merging and Batch Size Regulation [27.159538773609917]
フェデレートラーニング(Federated Learning, FL)は、エッジコンピューティング(EC)システムにおいて、エッジAIが貴重な知識をマイニングするための技術である。
本稿では,機能統合とバッチサイズ制御をSFLに組み込んだ新しいSFLフレームワークMergeSFLを提案する。
我々は,MergeSFLが最終モデルの精度を5.82%から26.22%向上し,ベースラインに比べて約1.74倍から4.14倍のスピードアップが可能であることを示した。
論文 参考訳(メタデータ) (2023-11-22T12:25:02Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳(メタデータ) (2023-05-15T22:04:49Z) - Over-The-Air Clustered Wireless Federated Learning [2.2530496464901106]
クライアントがパラメータ更新を同時にサーバに送信できるので、Over-the-air (OTA) FLが好ましい。
強力なサーバがなければ、クライアントが隣人と通信してコンセンサスMLモデルを取得する分散戦略が採用される。
本稿では,OTA半分散クラスタリング無線FL(CWFL)とCWFL-Proxアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-11-07T08:34:35Z) - Completion Time Minimization of Fog-RAN-Assisted Federated Learning With
Rate-Splitting Transmission [21.397106355171946]
本研究は,複数のIoTデバイスが分散アクセスポイント(AP)を介してクラウドサーバ(CS)と通信することで,共有機械学習モデルを協調的に学習するフォグラジオアクセスネットワーク上でのフェデレーション学習を研究する。
APとCSを接続するフロントハウルリンクの容量が有限であると仮定して、分割アップリンクメッセージのハイブリッドエッジとクラウドデコードを可能にするIoTデバイス(ID)におけるレートスプリット伝送を提案する。
数値計算の結果,提案手法はエッジやクラウドデコーディングのみに依存するベンチマーク方式よりも顕著な利得が得られることがわかった。
論文 参考訳(メタデータ) (2022-06-03T02:53:19Z) - Fast Server Learning Rate Tuning for Coded Federated Dropout [3.9653673778225946]
Federated Dropout (FD) はFLセッションの通信効率を改善する技術である。
各クライアントで異なるサブモデルを使用することで、符号化理論を利用してFDを強化する。
EMNISTデータセットの場合、このメカニズムはドロップアウトケースの最終的な精度の99.6%を達成する。
論文 参考訳(メタデータ) (2022-01-26T16:19:04Z) - AirMixML: Over-the-Air Data Mixup for Inherently Privacy-Preserving Edge
Machine Learning [54.52660257575346]
ネットワークエッジにおけるプライバシー保護型機械学習フレームワークであるAirMixMLを提案する。
AirMixMLでは、複数のワーカーがプライベートデータサンプルのアナログ変調信号をエッジサーバに送信し、受信したノイズと重ね合わせのサンプルを使用してMLモデルをトレーニングします。
シミュレーションにより,dirmix(alpha)-pc設計ガイドラインを提供し,精度,プライバシ,エネルギー効率を向上させる。
論文 参考訳(メタデータ) (2021-05-02T05:45:43Z) - Bayesian Federated Learning over Wireless Networks [87.37301441859925]
フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。
本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-31T07:32:44Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳(メタデータ) (2020-09-27T08:28:25Z) - XOR Mixup: Privacy-Preserving Data Augmentation for One-Shot Federated
Learning [49.130350799077114]
我々は、XorMixupという、プライバシー保護のためのXORベースのミックスアップデータ拡張技術を開発した。
中心となる考え方は、各デバイスのデータサンプルのみを使用してデコードされた、他のデバイスのエンコードされたデータサンプルを収集することである。
XorMixFLは、非IID MNISTデータセットの下で、Vanilla FLよりも最大17.6%高い精度を達成する。
論文 参考訳(メタデータ) (2020-06-09T09:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。