論文の概要: FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning
- arxiv url: http://arxiv.org/abs/2102.02514v1
- Date: Thu, 4 Feb 2021 09:53:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-06 00:58:13.478410
- Title: FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning
- Title（参考訳）: FedAUX: フェデレーション学習におけるラベルなし補助データを活用する
- Authors: Felix Sattler and Tim Korjakow and Roman Rischke and Wojciech Samek
- Abstract要約: フェデレート蒸留(Federated Distillation, FD)は、フェデレート学習のための新しいアルゴリズムパラダイムである。
ラベルなし補助データから最大ユーティリティを導出することで性能を大幅に向上するFedAUXを提案する。
大規模畳み込みニューラルネットワークとトランスフォーマーモデルの実験により、FedAUXのトレーニング性能がSOTA FLベースライン法を上回ることを示した。
- 参考スコア（独自算出の注目度）: 14.10627556244287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Distillation (FD) is a popular novel algorithmic paradigm for
Federated Learning, which achieves training performance competitive to prior
parameter averaging based methods, while additionally allowing the clients to
train different model architectures, by distilling the client predictions on an
unlabeled auxiliary set of data into a student model. In this work we propose
FedAUX, an extension to FD, which, under the same set of assumptions,
drastically improves performance by deriving maximum utility from the unlabeled
auxiliary data. FedAUX modifies the FD training procedure in two ways: First,
unsupervised pre-training on the auxiliary data is performed to find a model
initialization for the distributed training. Second, $(\varepsilon,
\delta)$-differentially private certainty scoring is used to weight the
ensemble predictions on the auxiliary data according to the certainty of each
client model. Experiments on large-scale convolutional neural networks and
transformer models demonstrate, that the training performance of FedAUX exceeds
SOTA FL baseline methods by a substantial margin in both the iid and non-iid
regime, further closing the gap to centralized training performance. Code is
available at github.com/fedl-repo/fedaux.
- Abstract（参考訳）: フェデレート蒸留(Federated Distillation, FD)は、フェデレートラーニング(Federated Learning)のための新しいアルゴリズムパラダイムであり、従来のパラメータ平均化手法と競合する訓練性能を実現すると同時に、未ラベルの補助的なデータセットのクライアント予測を学生モデルに蒸留することで、クライアントが異なるモデルアーキテクチャを訓練できるようにする。
本研究では,FedAUXを提案する。FedAUXはFDの拡張であり,同じ仮定の下で,ラベルのない補助データから最大ユーティリティを導出することにより,性能を大幅に向上する。
FedAUXは、FDトレーニング手順を2つの方法で修正する。まず、補助データに対する教師なし事前トレーニングを行い、分散トレーニングのモデル初期化を見つける。
第二に、$(\varepsilon, \delta)$-differentially private certainty scoringは、各クライアントモデルの確実性に応じて、補助データ上のアンサンブル予測を重み付けるために使用されます。
大規模畳み込みニューラルネットワークとトランスモデルに関する実験では、FedAUXのトレーニングパフォーマンスがIidと非iidの両方で相当なマージンでSOTA FLベースラインメソッドを超え、集中型トレーニングパフォーマンスへのギャップをさらに埋めることが実証された。
コードはgithub.com/fedl-repo/fedauxで入手できる。
関連論文リスト
- FedMS: Federated Learning with Mixture of Sparsely Activated Foundations
Models [11.362085734837217]
我々はFedMSと呼ばれる新しい2段階のフェデレーション学習アルゴリズムを提案する。
グローバルエキスパートは第一段階で訓練され、ローカルエキスパートは第二段階で訓練され、より良いパーソナライズを提供する。
我々はFedMSの有効性を検証するために広範囲な実験を行い、その結果、FedMSは他のSOTAベースラインを55.25%まで上回る結果となった。
論文 参考訳（メタデータ） (2023-12-26T07:40:26Z) - FedFNN: Faster Training Convergence Through Update Predictions in
Federated Recommender Systems [4.4273123155989715]
フェデレートラーニング(FL)は、分散機械学習の鍵となるアプローチとして登場した。
本稿では、分散モデルトレーニングを高速化するアルゴリズムであるFedFNNを紹介する。
論文 参考訳（メタデータ） (2023-09-14T13:18:43Z) - FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal
Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。
Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。
その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-08-21T21:57:01Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Weight Divergence Driven Divide-and-Conquer Approach for Optimal
Federated Learning from non-IID Data [0.0]
Federated Learningは、トレーニングデータを集中化することなく、分散デバイスに格納されたデータのトレーニングを可能にする。
本稿では,一般的なFedAvgアグリゲーションアルゴリズムの活用を可能にする,新しいDivide-and-Conquerトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-06-28T09:34:20Z) - Fairness and Accuracy in Federated Learning [17.218814060589956]
本稿では,federated learning (fedfa) における公平性と正確性を高めるアルゴリズムを提案する。
二重運動量勾配を採用する最適化スキームを導入し、それによってモデルの収束速度を加速する。
トレーニング精度とトレーニング頻度の情報量を組み合わせてウェイトを測定するための適切なウェイト選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-18T06:28:37Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。