論文の概要: Practical One-Shot Federated Learning for Cross-Silo Setting

• arxiv url: http://arxiv.org/abs/2010.01017v2
• Date: Thu, 20 May 2021 13:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:50:30.127810
• Title: Practical One-Shot Federated Learning for Cross-Silo Setting
• Title（参考訳）: クロスサイロ設定のための実践的ワンショットフェデレーション学習
• Authors: Qinbin Li, Bingsheng He, Dawn Song
• Abstract要約: ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。 本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。 知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
• 参考スコア（独自算出の注目度）: 114.76232507580067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning enables multiple parties to collaboratively learn a model without exchanging their data. While most existing federated learning algorithms need many rounds to converge, one-shot federated learning (i.e., federated learning with a single communication round) is a promising approach to make federated learning applicable in cross-silo setting in practice. However, existing one-shot algorithms only support specific models and do not provide any privacy guarantees, which significantly limit the applications in practice. In this paper, we propose a practical one-shot federated learning algorithm named FedKT. By utilizing the knowledge transfer technique, FedKT can be applied to any classification models and can flexibly achieve differential privacy guarantees. Our experiments on various tasks show that FedKT can significantly outperform the other state-of-the-art federated learning algorithms with a single communication round.
• Abstract（参考訳）: フェデレーション学習は、複数のパーティがデータを交換することなく、協力的にモデルを学習することを可能にする。 既存のフェデレーション学習アルゴリズムの多くは、収束するために多くのラウンドを必要とするが、ワンショットフェデレーション学習(すなわち、1つのコミュニケーションラウンドによるフェデレーション学習)は、実際にクロスサイロ設定でフェデレーション学習を適用するための有望なアプローチである。 しかし、既存のワンショットアルゴリズムは特定のモデルのみをサポートし、プライバシ保証を提供していないため、実際にはアプリケーションを大幅に制限している。 本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。 知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。 各種課題に対する実験により,FedKTは他の最先端のフェデレーション学習アルゴリズムを1回の通信ラウンドで大幅に上回る結果が得られた。

関連論文リスト

• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning [55.99444047920231]
  提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。 自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-12T09:27:50Z)
• A Primal-Dual Algorithm for Hybrid Federated Learning [11.955062839855334]
  Fenchel Dualityをベースとした,ハイブリット・フェデレーション・ラーニングのための高速で堅牢なアルゴリズムを提案する。 また、クライアントデータを保護するためのプライバシーの考慮と必要な手順も提供します。
  論文  参考訳（メタデータ） (2022-10-14T21:02:04Z)
• Practical Vertical Federated Learning with Unsupervised Representation Learning [47.77625754666018]
  フェデレートされた学習は、複数のパーティが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。 我々はFedOnceという,一対一のコミュニケーションしか必要としない新しいコミュニケーション効率の縦型学習アルゴリズムを提案する。 私たちのプライバシー保護技術は、同じプライバシー予算の下で最先端のアプローチを著しく上回ります。
  論文  参考訳（メタデータ） (2022-08-13T08:41:32Z)
• FLIX: A Simple and Communication-Efficient Alternative to Local Methods in Federated Learning [4.492444446637857]
  フェデレーション学習は、複数のノードが協調的に学習しようとする、ますます人気のある機械学習パラダイムである。 教師付き学習の標準的な平均リスク最小化は、連邦学習に特有のいくつかの主要な制約を扱うのに不十分である。 我々は、フェデレートラーニングによってもたらされるユニークな課題を考慮に入れた、新しいフレームワークFLIXを紹介します。
  論文  参考訳（メタデータ） (2021-11-22T22:06:58Z)
• Federated Self-Supervised Contrastive Learning via Ensemble Similarity Distillation [42.05438626702343]
  本稿では,未ラベルのクライアントデータによる良好な表現空間の学習の実現可能性について検討する。 本稿では,アーキテクチャに依存しないローカルトレーニングとコミュニケーション効率のよいグローバルアグリゲーションをサポートする,自己指導型コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-29T02:13:22Z)
• FedU: A Unified Framework for Federated Multi-Task Learning with Laplacian Regularization [15.238123204624003]
  フェデレート・マルチタスク・ラーニング(FMTL)は、フェデレーション・ラーニングにおけるクライアント間の統計的多様性を捉える自然な選択肢として登場した。 統計的多様性を超えてFMTLを解き放つために、ラプラシア正規化を用いて新しいFMTL FedUを策定する。
  論文  参考訳（メタデータ） (2021-02-14T13:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。