論文の概要: Model-Contrastive Federated Learning
- arxiv url: http://arxiv.org/abs/2103.16257v1
- Date: Tue, 30 Mar 2021 11:16:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-31 15:16:07.390403
- Title: Model-Contrastive Federated Learning
- Title(参考訳): モデル-contrastive federated learning
- Authors: Qinbin Li, Bingsheng He, Dawn Song
- Abstract要約: フェデレーションラーニングにより、複数のパーティがローカルデータを伝達することなく、機械学習モデルを共同でトレーニングできます。
MOON:モデルコントラスト連合学習を提案します。
実験の結果,MOONは様々な画像分類タスクにおいて,他の最先端のフェデレーション学習アルゴリズムよりも優れていた。
- 参考スコア(独自算出の注目度): 92.9075661456444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning enables multiple parties to collaboratively train a
machine learning model without communicating their local data. A key challenge
in federated learning is to handle the heterogeneity of local data distribution
across parties. Although many studies have been proposed to address this
challenge, we find that they fail to achieve high performance in image datasets
with deep learning models. In this paper, we propose MOON: model-contrastive
federated learning. MOON is a simple and effective federated learning
framework. The key idea of MOON is to utilize the similarity between model
representations to correct the local training of individual parties, i.e.,
conducting contrastive learning in model-level. Our extensive experiments show
that MOON significantly outperforms the other state-of-the-art federated
learning algorithms on various image classification tasks.
- Abstract(参考訳): フェデレーション学習は、複数のパーティが、ローカルデータを通信することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
連合学習における鍵となる課題は、パーティ間でのローカルデータ分散の多様性を扱うことである。
この課題に対処するために多くの研究が提案されているが、深層学習モデルを用いた画像データセットの高性能化には失敗している。
本稿では,moon: model-contrastive federated learningを提案する。
MOONはシンプルで効果的な連合学習フレームワークである。
ムーンの重要な考え方は、モデル表現間の類似性を利用して個々のパーティのローカルトレーニング、すなわちモデルレベルでのコントラスト学習を正すことである。
広範囲にわたる実験の結果,MOONは様々な画像分類タスクにおいて,他の最先端のフェデレーション学習アルゴリズムよりも優れていた。
関連論文リスト
- Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-23T08:18:22Z) - Federated Learning of Models Pre-Trained on Different Features with
Consensus Graphs [19.130197923214123]
プライベートデータセットと分散データセットで効果的なグローバルモデルを学ぶことは、機械学習においてますます重要な課題になりつつある。
本稿では,局所モデルから局所表現を抽出し,それらをグローバル表現に組み込んで予測性能を向上させる特徴融合手法を提案する。
本稿では,これらの問題に対する解決策を提示し,電力網や交通網などの時系列データを用いた実世界の応用例を示す。
論文 参考訳(メタデータ) (2023-06-02T02:24:27Z) - Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。
異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。
このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文 参考訳(メタデータ) (2023-03-30T17:30:42Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。
本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。
我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
論文 参考訳(メタデータ) (2022-08-19T17:57:32Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - FedProc: Prototypical Contrastive Federated Learning on Non-IID data [24.1906520295278]
フェデレーション学習は、複数のクライアントが協力してディープラーニングモデルをトレーニングし、トレーニングデータをローカルに保持することを可能にする。
我々はFedProc: 原型的コントラスト型フェデレーション学習を提案する。
FedProcは計算コストを許容して精度を$1.6%sim7.9%向上することを示す。
論文 参考訳(メタデータ) (2021-09-25T04:32:23Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳(メタデータ) (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。