Fugu-MT 論文翻訳(概要): Federated Learning via Synthetic Data

論文の概要: Federated Learning via Synthetic Data

arxiv url: http://arxiv.org/abs/2008.04489v2
Date: Sat, 26 Sep 2020 17:54:35 GMT
ステータス: 処理完了
システム内更新日: 2022-10-31 10:47:13.453464
Title: Federated Learning via Synthetic Data
Title（参考訳）: 合成データによるフェデレーション学習
Authors: Jack Goetz, Ambuj Tewari
Abstract要約: フェデレートラーニングは、クライアントが生データを送信することなく、複数のクライアントのデータを使用したモデルのトレーニングを可能にする。本稿では,サーバに勾配更新を送信するのではなく,少量の合成データを送信するフェデレート学習手法を提案する。
参考スコア（独自算出の注目度）: 21.74701666923297
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning allows for the training of a model using data on multiple clients without the clients transmitting that raw data. However the standard method is to transmit model parameters (or updates), which for modern neural networks can be on the scale of millions of parameters, inflicting significant computational costs on the clients. We propose a method for federated learning where instead of transmitting a gradient update back to the server, we instead transmit a small amount of synthetic `data'. We describe the procedure and show some experimental results suggesting this procedure has potential, providing more than an order of magnitude reduction in communication costs with minimal model degradation.
Abstract（参考訳）: フェデレートラーニングは、クライアントが生データを送信することなく、複数のクライアントのデータを使用したモデルのトレーニングを可能にする。しかし、標準的な方法はモデルパラメータ(または更新)を送信し、現代のニューラルネットワークでは数百万のパラメータのスケールで処理し、クライアントにかなりの計算コストを与える。そこで我々は,グラデーション更新をサーバに送信するのではなく,少量の合成データを送信するフェデレーション学習手法を提案する。提案手法について述べるとともに, モデル劣化を最小限に抑えつつ, 通信コストの大幅な削減を図った実験結果を示す。

関連論文リスト

FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
論文参考訳（メタデータ） (2023-04-15T06:46:37Z)
Meta Knowledge Condensation for Federated Learning [65.20774786251683]
既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
論文参考訳（メタデータ） (2022-09-29T15:07:37Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
論文参考訳（メタデータ） (2022-08-19T17:57:32Z)
FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2021-08-30T15:39:54Z)
RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data [3.7416826310878024]
フェデレーション学習は、生データではなくモデルパラメータを交換することで、各クライアントのプライバシを保護するために使用される。本稿では,連合学習の学習過程における通信オーバーヘッドを低減する新しいフレームワークであるRingFedを提案する。 2つの異なる公開データセットの実験は、RingFedが高速収束、モデル精度、通信コストの低いことを示している。
論文参考訳（メタデータ） (2021-07-19T13:43:10Z)
On the Convergence Time of Federated Learning Over Wireless Networks Under Imperfect CSI [28.782485580296374]
チャネル統計をバイアスとして,不完全なcsi下での収束時間を最小化するトレーニングプロセスを提案する。また,学習過程に関わるクライアント数とモデル精度とのトレードオフを,異なる失明状態の関数として検討した。
論文参考訳（メタデータ） (2021-04-01T08:30:45Z)
Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文参考訳（メタデータ） (2021-02-08T19:14:21Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。