論文の概要: FedMe: Federated Learning via Model Exchange

• arxiv url: http://arxiv.org/abs/2110.07868v1
• Date: Fri, 15 Oct 2021 05:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 03:06:37.108924
• Title: FedMe: Federated Learning via Model Exchange
• Title（参考訳）: FedMe: モデル交換によるフェデレーションラーニング
• Authors: Koji Matsuda, Yuya Sasaki, Chuan Xiao, Makoto Onizuka
• Abstract要約: フェデレートラーニング(Federated Learning)は、単一のサーバと複数のクライアントが、クライアントでデータセットを共有することなく、協調して機械学習モデルを構築する分散機械学習手法である。 既存のソリューションは、中央サーバーによって調整されたモデルアーキテクチャを必要とするが、主要な技術的課題は、中央サーバーにローカルデータが存在しないため、モデルアーキテクチャをチューニングすることが難しいことである。 本稿では,モデル交換によるフェデレーション学習(FedMe)を提案する。
• 参考スコア（独自算出の注目度）: 4.103964068197591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning is a distributed machine learning method in which a single server and multiple clients collaboratively build machine learning models without sharing datasets on clients. Numerous methods have been proposed to cope with the data heterogeneity issue in federated learning. Existing solutions require a model architecture tuned by the central server, yet a major technical challenge is that it is difficult to tune the model architecture due to the absence of local data on the central server. In this paper, we propose Federated learning via Model exchange (FedMe), which personalizes models with automatic model architecture tuning during the learning process. The novelty of FedMe lies in its learning process: clients exchange their models for model architecture tuning and model training. First, to optimize the model architectures for local data, clients tune their own personalized models by comparing to exchanged models and picking the one that yields the best performance. Second, clients train both personalized models and exchanged models by using deep mutual learning, in spite of different model architectures across the clients. We perform experiments on three real datasets and show that FedMe outperforms state-of-the-art federated learning methods while tuning model architectures automatically.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、単一のサーバと複数のクライアントが、クライアントでデータセットを共有することなく、機械学習モデルを共同構築する分散機械学習手法である。 フェデレート学習におけるデータ不均一性問題に対処するための多くの手法が提案されている。 既存のソリューションでは、中央サーバがチューニングしたモデルアーキテクチャを必要とするが、主要な技術的課題は、中央サーバにローカルデータがないため、モデルアーキテクチャをチューニングすることが難しいことである。 本稿では、学習プロセス中にモデルアーキテクチャの自動チューニングによりモデルをパーソナライズするモデル交換(fedme)によるフェデレーション学習を提案する。 FedMeの新規性は学習プロセスにある。クライアントはモデルアーキテクチャチューニングとモデルトレーニングのためにモデルを交換する。 まず、ローカルデータのためにモデルアーキテクチャを最適化するために、クライアントは交換されたモデルと比較し、最高のパフォーマンスをもたらすモデルを選択することによって、独自のパーソナライズされたモデルをチューニングします。 第2に、クライアントは、クライアント間で異なるモデルアーキテクチャにもかかわらず、深い相互学習を使用してパーソナライズされたモデルと交換されたモデルの両方をトレーニングします。 我々は、3つの実際のデータセットの実験を行い、FedMeがモデルアーキテクチャを自動チューニングしながら最先端のフェデレーション学習手法より優れていることを示す。

関連論文リスト

• Federating Dynamic Models using Early-Exit Architectures for Automatic Speech Recognition on Heterogeneous Clients [12.008071873475169]
  フェデレートラーニング(Federated Learning)とは、異なるクライアント上でデータをローカルに保ちながら、共有予測モデルを共同で学習するテクニックである。 本稿では, 早期解を用いた動的アーキテクチャを用いて, 入力や動作条件に応じて, その処理を適応させることができることを提案する。 このソリューションは、部分的なトレーニングメソッドの領域に該当し、2つのメリットをもたらす。
  論文  参考訳（メタデータ） (2024-05-27T17:32:37Z)
• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• Client-supervised Federated Learning: Towards One-model-for-all Personalization [28.574858341430858]
  FLシステムにおける未確認/テストクライアント上のパーソナライズされたモデルと競合する性能を達成するために,単一の堅牢なグローバルモデルのみを学習する新しいフェデレーション学習フレームワークを提案する。 具体的には、新しいクライアント監督型フェデレートラーニング(FedCS)を設計し、クライアントの潜在表現に対するバイアスを解消し、グローバルモデルがクライアント固有の知識とクライアントに依存しない知識の両方を学習できるようにする。
  論文  参考訳（メタデータ） (2024-03-28T15:29:19Z)
• FAM: fast adaptive federated meta-learning [10.980548731600116]
  単一グローバルモデルの協調学習のための高速適応型メタラーニング(FAM)フレームワークを提案する。 スケルトンネットワークは各クライアントで成長し、ローカルデータから追加のクライアント固有のパラメータを学習することでパーソナライズされたモデルをトレーニングする。 パーソナライズされたクライアントモデルは、ローカルにトレーニングされたモデルよりも優れ、FAMメカニズムの有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-26T22:54:45Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• PerFED-GAN: Personalized Federated Learning via Generative Adversarial Networks [46.17495529441229]
  フェデレーション学習(Federated Learning)は、AI依存のIoTアプリケーションをデプロイするために使用できる分散機械学習手法である。 本稿では,協調学習とGANに基づく連合学習手法を提案する。 提案手法は,クライアントのモデルアーキテクチャとデータ分布が大きく異なる場合,既存手法の精度を平均42%向上させる。
  論文  参考訳（メタデータ） (2022-02-18T12:08:46Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)
• Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning [96.38757904624208]
  モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。 この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
  論文  参考訳（メタデータ） (2020-05-05T21:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。