論文の概要: Collaborative Learning of Distributions under Heterogeneity and Communication Constraints

• arxiv url: http://arxiv.org/abs/2206.00707v1
• Date: Wed, 1 Jun 2022 18:43:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 13:49:40.083469
• Title: Collaborative Learning of Distributions under Heterogeneity and Communication Constraints
• Title（参考訳）: 異質性とコミュニケーション制約下における分布の協調学習
• Authors: Xinmeng Huang, Donghwan Lee, Edgar Dobriban, Hamed Hassani
• Abstract要約: 機械学習では、ユーザはしばしば、データを生成するディストリビューションを学ぶために協力する必要がある。 まず、ユーザはサーバと通信して中央分布を学習し、協調する。 そして、学習した中央分布を微調整して、ユーザの個々の分布を推定する。
• 参考スコア（独自算出の注目度）: 35.82172666266493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In modern machine learning, users often have to collaborate to learn distributions that generate the data. Communication can be a significant bottleneck. Prior work has studied homogeneous users -- i.e., whose data follow the same discrete distribution -- and has provided optimal communication-efficient methods. However, these methods rely heavily on homogeneity, and are less applicable in the common case when users' discrete distributions are heterogeneous. Here we consider a natural and tractable model of heterogeneity, where users' discrete distributions only vary sparsely, on a small number of entries. We propose a novel two-stage method named SHIFT: First, the users collaborate by communicating with the server to learn a central distribution; relying on methods from robust statistics. Then, the learned central distribution is fine-tuned to estimate the individual distributions of users. We show that SHIFT is minimax optimal in our model of heterogeneity and under communication constraints. Further, we provide experimental results using both synthetic data and $n$-gram frequency estimation in the text domain, which corroborate its efficiency.
• Abstract（参考訳）: 現代の機械学習では、ユーザーはデータを生成する分布を学ぶために協調しなければならない。 コミュニケーションは重大なボトルネックになり得る。 先行研究では、均質なユーザ、すなわちデータが同じ離散分布に従うユーザを調査し、最適な通信効率の方法を提供してきた。 しかし、これらの手法は均質性に大きく依存しており、ユーザの離散分布が不均一である場合の一般的な場合では適用できない。 ここでは, 利用者の離散分布が, 少数のエントリに対してばらばらにしか変化しないような, 自然で扱いやすい不均一性モデルを考える。 まず,ユーザがサーバと通信して中央分布を学習し,ロバスト統計の手法に依存する2段階の手法を提案する。 そして、学習した中央分布を微調整して、ユーザの個別分布を推定する。 異質性モデルと通信制約モデルにおいてシフトは最小最適であることを示す。 さらに,テキスト領域における合成データとn$-gram周波数推定の両方を用いて実験を行い,その効率性について考察した。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Federated Learning for distribution skewed data using sample weights [3.6039117546761155]
  本研究は,クライアント間のスキューデータ分散におけるフェデレート学習性能の向上に焦点を当てた。 主な考え方は、サンプル重量を用いてクライアントの分布をグローバルな分布に近づけることである。 提案手法は,フェデレーション学習の精度を向上するだけでなく,通信コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-01-05T00:46:11Z)
• Probabilistic Matching of Real and Generated Data Statistics in Generative Adversarial Networks [0.6906005491572401]
  本稿では,あるデータ統計量の分布が実データの分布と一致することを確実にする手法を提案する。 提案手法を合成データセットと実世界のデータセットで評価し,提案手法の性能向上を実証した。
  論文  参考訳（メタデータ） (2023-06-19T14:03:27Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)
• Synthetic Learning: Learn From Distributed Asynchronized Discriminator GAN Without Sharing Medical Image Data [21.725983290877753]
  我々は分散非同期識別器GAN(AsynDGAN)という名前の分散GAN学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-29T21:05:49Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。