Fugu-MT 論文翻訳(概要): Jointly Learning from Decentralized (Federated) and Centralized Data to Mitigate Distribution Shift

論文の概要: Jointly Learning from Decentralized (Federated) and Centralized Data to Mitigate Distribution Shift

arxiv url: http://arxiv.org/abs/2111.12150v1
Date: Tue, 23 Nov 2021 20:51:24 GMT
ステータス: 処理完了
システム内更新日: 2021-11-25 16:10:17.582895
Title: Jointly Learning from Decentralized (Federated) and Centralized Data to Mitigate Distribution Shift
Title（参考訳）: 分散化(フェデレート)と集中型データからの協調学習による分布シフトの緩和
Authors: Sean Augenstein, Andrew Hard, Kurt Partridge, Rajiv Mathews
Abstract要約: フェデレートラーニング(FL)は、エッジデバイス上で学習が一括して行われる、ますます使われるパラダイムである。デバイス上のトレーニング例では、推論時に発生すると思われるデータ入力が不足している可能性がある。本稿では、FLと混在するデータセンターデータの選択的使用法である、このシフトを緩和する方法を提案する。
参考スコア（独自算出の注目度）: 2.9965560298318468
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With privacy as a motivation, Federated Learning (FL) is an increasingly used paradigm where learning takes place collectively on edge devices, each with a cache of user-generated training examples that remain resident on the local device. These on-device training examples are gathered in situ during the course of users' interactions with their devices, and thus are highly reflective of at least part of the inference data distribution. Yet a distribution shift may still exist; the on-device training examples may lack for some data inputs expected to be encountered at inference time. This paper proposes a way to mitigate this shift: selective usage of datacenter data, mixed in with FL. By mixing decentralized (federated) and centralized (datacenter) data, we can form an effective training data distribution that better matches the inference data distribution, resulting in more useful models while still meeting the private training data access constraints imposed by FL.
Abstract（参考訳）: プライバシーのモチベーションとして、連合学習(federated learning, fl)は、エッジデバイス上で学習をまとめて実施するパラダイムであり、それぞれがローカルデバイスに常駐する、ユーザ生成のトレーニング例をキャッシュする。これらのオンデバイストレーニングの例は、ユーザのデバイスとのインタラクションの過程でその場で収集されるため、推論データ分布の少なくとも一部を非常に反映する。デバイス上のトレーニング例では、推論時に発生すると思われるデータ入力が不足している可能性がある。本稿では、FLと混在するデータセンターデータの選択的使用法である、このシフトを緩和する方法を提案する。分散(フェデレート)データと集中型(データセンタ)データを混在させることで、推論データ分布に合致する効果的なトレーニングデータ分布を形成することができ、flによって課されるプライベートトレーニングデータアクセス制約を満たしながら、より有用なモデルを生成することができる。

関連論文リスト

FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-07-09T02:47:16Z)
Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文参考訳（メタデータ） (2023-05-20T07:55:58Z)
Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文参考訳（メタデータ） (2023-03-31T10:13:01Z)
FedPDC:Federated Learning for Public Dataset Correction [1.5533842336139065]
フェデレート学習は、非IIDシナリオにおける従来の機械学習よりも分類精度が低い。局所モデルのアグリゲーションモードと局所学習の損失関数を最適化するために,新しいアルゴリズムであるFedPDCを提案する。多くのベンチマーク実験において、FedPDCは極めて不均衡なデータ分布の場合、グローバルモデルの精度を効果的に向上させることができる。
論文参考訳（メタデータ） (2023-02-24T08:09:23Z)
Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。本稿では,フェデレートラーニングのための並列適応器を提案する。
論文参考訳（メタデータ） (2023-02-06T17:30:33Z)
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文参考訳（メタデータ） (2023-01-25T03:18:10Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
分散機械学習では、労働者はローカルデータのモデル更新を計算する。労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
論文参考訳（メタデータ） (2021-10-08T14:55:32Z)
Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
論文参考訳（メタデータ） (2021-07-18T19:05:44Z)
Accelerating Federated Learning in Heterogeneous Data and Computational Environments [0.7106986689736825]
本稿では,分散検証集合に対するフェデレーションにおける学習者の性能を評価する分散検証重み付け方式(DVW)を提案する。我々は、DVWがFedAvgのような確立された手法よりも優れた性能をもたらすことを実証的に示す。
論文参考訳（メタデータ） (2020-08-25T21:28:38Z)
WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。