論文の概要: One-shot Federated Learning without Server-side Training

• arxiv url: http://arxiv.org/abs/2204.12493v1
• Date: Tue, 26 Apr 2022 01:45:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 14:12:53.008337
• Title: One-shot Federated Learning without Server-side Training
• Title（参考訳）: サーバーサイドトレーニングのないワンショットフェデレーションラーニング
• Authors: Shangchao Su, Bin Li, and Xiangyang Xue
• Abstract要約: 共通高調波オプティマス(MA-Echo)探索によるモデルアグリゲーションの効率的なアルゴリズムを提案する。 既存の方法と比較して、MA-Echoは極端に識別できないデータ分散設定でもうまく機能する。 提案手法と既存手法との比較を行い,MA-Echoの有効性を実証する。
• 参考スコア（独自算出の注目度）: 42.59845771101823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) has recently made significant progress as a new machine learning paradigm for privacy protection. Due to the high communication cost of traditional FL, one-shot federated learning is gaining popularity as a way to reduce communication cost between clients and the server. Most of the existing one-shot FL methods are based on Knowledge Distillation; however, distillation based approach requires an extra training phase and depends on publicly available data sets. In this work, we consider a novel and challenging setting: performing a single round of parameter aggregation on the local models without server-side training on a public data set. In this new setting, we propose an effective algorithm for Model Aggregation via Exploring Common Harmonized Optima (MA-Echo), which iteratively updates the parameters of all local models to bring them close to a common low-loss area on the loss surface, without harming performance on their own data sets at the same time. Compared to the existing methods, MA-Echo can work well even in extremely non-identical data distribution settings where the support categories of each local model have no overlapped labels with those of the others. We conduct extensive experiments on two popular image classification data sets to compare the proposed method with existing methods and demonstrate the effectiveness of MA-Echo, which clearly outperforms the state-of-the-arts.
• Abstract（参考訳）: federated learning(fl)は、プライバシ保護のための新しい機械学習パラダイムとして、最近大きく進歩した。 従来のFLの通信コストが高いため,クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。 既存のワンショットfl法は、ほとんどが知識蒸留に基づいているが、蒸留ベースのアプローチでは追加のトレーニングフェーズが必要であり、利用可能なデータセットに依存する。 本研究では,公開データセット上でサーバ側でのトレーニングを行わずに,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,斬新かつ難解な設定を考える。 そこで本研究では,全局所モデルのパラメータを反復的に更新し,損失面の共通低損失領域に近づける手法として,自己のデータセットの性能を損なうことなく,モデルアグリゲーションの効果的なアルゴリズムを提案する。 既存の手法と比較して、MA-Echoは、各ローカルモデルのサポートカテゴリが他のモデルと重複するラベルを持たない非常に非識別的なデータ配信設定でもうまく機能する。 提案手法を既存の手法と比較し,MA-Echoの有効性を実証するために,2つの画像分類データセットについて広範な実験を行った。

関連論文リスト

• TPFL: Tsetlin-Personalized Federated Learning with Confidence-Based Clustering [0.0]
  本稿では,Tsetlin-Personalized Federated Learningと呼ばれる新しい手法を提案する。 このように、モデルは特定のクラスに対する信頼性に基づいてクラスタにグループ化される。 クライアントは信頼しているものだけを共有し、結果として誤った重み付けが排除される。 その結果、TPFLはMNISTで98.94%、FashionMNISTで98.52%、FEMNISTデータセットで91.16%の精度でベースライン法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-09-16T15:27:35Z)
• Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
  各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。 本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
  論文  参考訳（メタデータ） (2024-06-03T08:48:49Z)
• Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
  Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。 非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。 我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:44:52Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Federated Learning on Non-iid Data via Local and Global Distillation [25.397058380098816]
  我々は,FedND:Federated Learning with noise distillationを提案する。 クライアントでは,局所モデルを学習するための自己蒸留法を提案する。 サーバでは、各クライアントに対してノイズの多いサンプルを生成し、それを他のクライアントを蒸留するために使用します。 実験結果から,このアルゴリズムは最先端の手法よりも通信効率がよいことがわかった。
  論文  参考訳（メタデータ） (2023-06-26T06:14:01Z)
• SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
  フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。 本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
  論文  参考訳（メタデータ） (2023-04-15T06:46:37Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
  Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。 既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。 我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
  論文  参考訳（メタデータ） (2022-09-10T05:20:31Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。