論文の概要: Meta Knowledge Condensation for Federated Learning

• arxiv url: http://arxiv.org/abs/2209.14851v1
• Date: Thu, 29 Sep 2022 15:07:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 16:34:50.294813
• Title: Meta Knowledge Condensation for Federated Learning
• Title（参考訳）: フェデレーション学習のためのメタ知識凝縮
• Authors: Ping Liu and Xin Yu and Joey Tianyi Zhou
• Abstract要約: 既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
• 参考スコア（独自算出の注目度）: 65.20774786251683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing federated learning paradigms usually extensively exchange distributed models at a central solver to achieve a more powerful model. However, this would incur severe communication burden between a server and multiple clients especially when data distributions are heterogeneous. As a result, current federated learning methods often require a large number of communication rounds in training. Unlike existing paradigms, we introduce an alternative perspective to significantly decrease the communication cost in federate learning. In this work, we first introduce a meta knowledge representation method that extracts meta knowledge from distributed clients. The extracted meta knowledge encodes essential information that can be used to improve the current model. As the training progresses, the contributions of training samples to a federated model also vary. Thus, we introduce a dynamic weight assignment mechanism that enables samples to contribute adaptively to the current model update. Then, informative meta knowledge from all active clients is sent to the server for model update. Training a model on the combined meta knowledge without exposing original data among different clients can significantly mitigate the heterogeneity issues. Moreover, to further ameliorate data heterogeneity, we also exchange meta knowledge among clients as conditional initialization for local meta knowledge extraction. Extensive experiments demonstrate the effectiveness and efficiency of our proposed method. Remarkably, our method outperforms the state-of-the-art by a large margin (from $74.07\%$ to $92.95\%$) on MNIST with a restricted communication budget (i.e. 10 rounds).
• Abstract（参考訳）: 既存の連合学習パラダイムは通常、より強力なモデルを達成するために中央解法で分散モデルを広範囲に交換する。 しかし、特にデータ分散が異質である場合には、サーバと複数のクライアント間の通信に深刻な負担がかかる。 結果として、現在の連合学習方法は、トレーニングにおいて多くのコミュニケーションラウンドを必要とすることが多い。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。 本稿では,まず,分散クライアントからメタ知識を抽出するメタ知識表現手法を提案する。 抽出されたメタ知識は、現在のモデルを改善するために使用できる重要な情報をエンコードする。 トレーニングが進むにつれて、トレーニングサンプルのフェデレーションモデルへの貢献も様々である。 そこで本研究では,現在のモデル更新に適応的に寄与できる動的重み付け機構を提案する。 そして、モデル更新のために、すべてのアクティブクライアントからの情報的なメタ知識をサーバに送信する。 異なるクライアント間で元のデータを公開せずに、組み合わせたメタ知識のモデルをトレーニングすることで、異種性の問題を大幅に軽減することができる。 さらに,データの不均一性をさらに改善するため,局所的メタ知識抽出のための条件初期化として,クライアント間でメタ知識を交換する。 提案手法の有効性と有効性を示す実験を行った。 注目すべきは、MNISTの通信予算が制限されている(すなわち10ラウンド)MNISTでは、最先端技術(74.07 % から9.95 % )よりも優れていることである。

関連論文リスト

• Personalized Federated Learning with Contextual Modulation and Meta-Learning [2.7716102039510564]
  フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。 本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-23T08:18:22Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization [36.916155654985936]
  会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。 本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
  論文  参考訳（メタデータ） (2023-08-07T03:34:01Z)
• Elastically-Constrained Meta-Learner for Federated Learning [3.032797107899338]
  フェデレートラーニング(Federated Learning)とは、データ共有を禁止する複数のパーティを対象とした、協調的な機械学習モデルに対するアプローチである。 フェデレーション学習の課題の1つは、クライアント間の非制約データである。
  論文  参考訳（メタデータ） (2023-06-29T05:58:47Z)
• Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
  フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。 本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。 我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
  論文  参考訳（メタデータ） (2022-08-19T17:57:32Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。