論文の概要: Distilled One-Shot Federated Learning

• arxiv url: http://arxiv.org/abs/2009.07999v3
• Date: Sun, 6 Jun 2021 06:55:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 07:58:11.138449
• Title: Distilled One-Shot Federated Learning
• Title（参考訳）: 蒸留1発混合学習
• Authors: Yanlin Zhou, George Pu, Xiyao Ma, Xiaolin Li, Dapeng Wu
• Abstract要約: そこで本稿では, DOSFL (Distilled One-Shot Federated Learning) を提案する。 たった1ラウンドで、各クライアントはプライベートデータセットを蒸留し、合成データ(画像や文など)をサーバに送る。 この軽量で勾配のない設計では、DOSFLの通信コストはFedAvgよりも最大で3桁少ない。
• 参考スコア（独自算出の注目度）: 13.294757670979031
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current federated learning algorithms take tens of communication rounds transmitting unwieldy model weights under ideal circumstances and hundreds when data is poorly distributed. Inspired by recent work on dataset distillation and distributed one-shot learning, we propose Distilled One-Shot Federated Learning (DOSFL) to significantly reduce the communication cost while achieving comparable performance. In just one round, each client distills their private dataset, sends the synthetic data (e.g. images or sentences) to the server, and collectively trains a global model. The distilled data look like noise and are only useful to the specific model weights, i.e., become useless after the model updates. With this weight-less and gradient-less design, the total communication cost of DOSFL is up to three orders of magnitude less than FedAvg while preserving between 93% to 99% performance of a centralized counterpart. Afterwards, clients could switch to traditional methods such as FedAvg to finetune the last few percent to fit personalized local models with local datasets. Through comprehensive experiments, we show the accuracy and communication performance of DOSFL on both vision and language tasks with different models including CNN, LSTM, Transformer, etc. We demonstrate that an eavesdropping attacker cannot properly train a good model using the leaked distilled data, without knowing the initial model weights. DOSFL serves as an inexpensive method to quickly converge on a performant pre-trained model with less than 0.1% communication cost of traditional methods.
• Abstract（参考訳）: 現在のフェデレーション学習アルゴリズムは、理想的な状況下で不利なモデル重みを送信し、データが分散しない数百の通信ラウンドを必要とする。 近年のデータセット蒸留と分散ワンショット学習に触発され,同等の性能を実現しつつ通信コストを大幅に削減するために,dosfl(single-shot federated learning)を提案する。 たった1ラウンドで、各クライアントはプライベートデータセットを蒸留し、合成データ(画像や文など)をサーバに送信し、総合的にグローバルモデルをトレーニングする。 蒸留されたデータはノイズのように見え、モデルの更新後に役に立たなくなる特定のモデル重みにのみ役立ちます。 この軽量で勾配のない設計により、dosflの通信コストはfedavgよりも最大で3桁小さくなり、一方、集中型通信システムの性能は93%から99%に抑えられている。 その後、クライアントはFedAvgのような従来のメソッドに切り替えて、最後の数パーセントを微調整して、パーソナライズされたローカルモデルをローカルデータセットに適合させることができる。 包括的な実験を通して,CNN,LSTM,Transformerなどの異なるモデルを用いた視覚・言語タスクにおけるDOSFLの精度と通信性能を示す。 盗難攻撃者は, 初期モデルの重みを知らずに, 流出した蒸留データを用いて適切なモデルを訓練できないことを示す。 DOSFLは、従来の手法の通信コストが0.1%未満のパフォーマンス事前訓練モデルに迅速に収束するための安価な方法である。

関連論文リスト

• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Federated Learning on Non-iid Data via Local and Global Distillation [25.397058380098816]
  我々は,FedND:Federated Learning with noise distillationを提案する。 クライアントでは,局所モデルを学習するための自己蒸留法を提案する。 サーバでは、各クライアントに対してノイズの多いサンプルを生成し、それを他のクライアントを蒸留するために使用します。 実験結果から,このアルゴリズムは最先端の手法よりも通信効率がよいことがわかった。
  論文  参考訳（メタデータ） (2023-06-26T06:14:01Z)
• SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
  フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。 本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
  論文  参考訳（メタデータ） (2023-04-15T06:46:37Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• One-shot Federated Learning without Server-side Training [42.59845771101823]
  クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。 既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。 本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
  論文  参考訳（メタデータ） (2022-04-26T01:45:37Z)
• FedSynth: Gradient Compression via Synthetic Data in Federated Learning [14.87215762562876]
  モデル更新を送信するのではなく,各クライアントが学習し,軽量な合成データセットを送信する,上流通信のための新しい手法を提案する。 我々の手法は,3つの共通学習ベンチマークデータセットのすべてにおいて,ランダムマスキングベースラインに匹敵する/劣ることがわかった。
  論文  参考訳（メタデータ） (2022-04-04T06:47:20Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。