論文の概要: Collaborative Learning of Distributions under Heterogeneity and
Communication Constraints
- arxiv url: http://arxiv.org/abs/2206.00707v1
- Date: Wed, 1 Jun 2022 18:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 13:49:40.083469
- Title: Collaborative Learning of Distributions under Heterogeneity and
Communication Constraints
- Title(参考訳): 異質性とコミュニケーション制約下における分布の協調学習
- Authors: Xinmeng Huang, Donghwan Lee, Edgar Dobriban, Hamed Hassani
- Abstract要約: 機械学習では、ユーザはしばしば、データを生成するディストリビューションを学ぶために協力する必要がある。
まず、ユーザはサーバと通信して中央分布を学習し、協調する。
そして、学習した中央分布を微調整して、ユーザの個々の分布を推定する。
- 参考スコア(独自算出の注目度): 35.82172666266493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In modern machine learning, users often have to collaborate to learn
distributions that generate the data. Communication can be a significant
bottleneck. Prior work has studied homogeneous users -- i.e., whose data follow
the same discrete distribution -- and has provided optimal
communication-efficient methods. However, these methods rely heavily on
homogeneity, and are less applicable in the common case when users' discrete
distributions are heterogeneous. Here we consider a natural and tractable model
of heterogeneity, where users' discrete distributions only vary sparsely, on a
small number of entries. We propose a novel two-stage method named SHIFT:
First, the users collaborate by communicating with the server to learn a
central distribution; relying on methods from robust statistics. Then, the
learned central distribution is fine-tuned to estimate the individual
distributions of users. We show that SHIFT is minimax optimal in our model of
heterogeneity and under communication constraints. Further, we provide
experimental results using both synthetic data and $n$-gram frequency
estimation in the text domain, which corroborate its efficiency.
- Abstract(参考訳): 現代の機械学習では、ユーザーはデータを生成する分布を学ぶために協調しなければならない。
コミュニケーションは重大なボトルネックになり得る。
先行研究では、均質なユーザ、すなわちデータが同じ離散分布に従うユーザを調査し、最適な通信効率の方法を提供してきた。
しかし、これらの手法は均質性に大きく依存しており、ユーザの離散分布が不均一である場合の一般的な場合では適用できない。
ここでは, 利用者の離散分布が, 少数のエントリに対してばらばらにしか変化しないような, 自然で扱いやすい不均一性モデルを考える。
まず,ユーザがサーバと通信して中央分布を学習し,ロバスト統計の手法に依存する2段階の手法を提案する。
そして、学習した中央分布を微調整して、ユーザの個別分布を推定する。
異質性モデルと通信制約モデルにおいてシフトは最小最適であることを示す。
さらに,テキスト領域における合成データとn$-gram周波数推定の両方を用いて実験を行い,その効率性について考察した。
関連論文リスト
- Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-11T13:44:49Z) - Federated Learning for distribution skewed data using sample weights [3.6039117546761155]
本研究は,クライアント間のスキューデータ分散におけるフェデレート学習性能の向上に焦点を当てた。
主な考え方は、サンプル重量を用いてクライアントの分布をグローバルな分布に近づけることである。
提案手法は,フェデレーション学習の精度を向上するだけでなく,通信コストを大幅に削減する。
論文 参考訳(メタデータ) (2024-01-05T00:46:11Z) - Mean Estimation with User-level Privacy under Data Heterogeneity [54.07947274508013]
異なるユーザーは、非常に多くの異なるデータポイントを持っているかもしれない。
すべてのユーザが同じディストリビューションからサンプルを採取していると仮定することはできない。
本研究では,データの分布と量の両方でユーザデータが異なる異質なユーザデータの単純なモデルを提案する。
論文 参考訳(メタデータ) (2023-07-28T23:02:39Z) - Probabilistic Matching of Real and Generated Data Statistics in
Generative Adversarial Networks [0.10878040851637999]
本稿では,あるデータ統計量の分布が実データの分布と一致することを確実にする手法を提案する。
提案手法を合成データセットと実世界のデータセットで評価し,提案手法の性能向上を実証した。
論文 参考訳(メタデータ) (2023-06-19T14:03:27Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-22T04:06:29Z) - RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
分散機械学習では、労働者はローカルデータのモデル更新を計算する。
労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。
このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
論文 参考訳(メタデータ) (2021-10-08T14:55:32Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z) - Multi-modal AsynDGAN: Learn From Distributed Medical Image Data without
Sharing Private Information [55.866673486753115]
プライバシーとセキュリティを守るために拡張可能で弾力性のある学習フレームワークを提案します。
提案するフレームワークは分散Asynchronized Discriminator Generative Adrial Networks (AsynDGAN) である。
論文 参考訳(メタデータ) (2020-12-15T20:41:24Z) - Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。
新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
論文 参考訳(メタデータ) (2020-06-16T03:43:59Z) - Synthetic Learning: Learn From Distributed Asynchronized Discriminator
GAN Without Sharing Medical Image Data [21.725983290877753]
我々は分散非同期識別器GAN(AsynDGAN)という名前の分散GAN学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-05-29T21:05:49Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。