論文の概要: Distributed Gaussian Mean Estimation under Communication Constraints: Optimal Rates and Communication-Efficient Algorithms

• arxiv url: http://arxiv.org/abs/2001.08877v1
• Date: Fri, 24 Jan 2020 04:19:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 05:17:14.865520
• Title: Distributed Gaussian Mean Estimation under Communication Constraints: Optimal Rates and Communication-Efficient Algorithms
• Title（参考訳）: 通信制約下における分散ガウス平均推定:最適レートと通信効率アルゴリズム
• Authors: T. Tony Cai, Hongji Wei
• Abstract要約: 通信コストと統計的精度のトレードオフを特徴付ける収束の最小値が確立される。 通信効率と統計的に最適な手順が開発されている。
• 参考スコア（独自算出の注目度）: 2.842794675894731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study distributed estimation of a Gaussian mean under communication constraints in a decision theoretical framework. Minimax rates of convergence, which characterize the tradeoff between the communication costs and statistical accuracy, are established in both the univariate and multivariate settings. Communication-efficient and statistically optimal procedures are developed. In the univariate case, the optimal rate depends only on the total communication budget, so long as each local machine has at least one bit. However, in the multivariate case, the minimax rate depends on the specific allocations of the communication budgets among the local machines. Although optimal estimation of a Gaussian mean is relatively simple in the conventional setting, it is quite involved under the communication constraints, both in terms of the optimal procedure design and lower bound argument. The techniques developed in this paper can be of independent interest. An essential step is the decomposition of the minimax estimation problem into two stages, localization and refinement. This critical decomposition provides a framework for both the lower bound analysis and optimal procedure design.
• Abstract（参考訳）: 本稿では,ガウス平均の分散推定を,決定理論の枠組みによる通信制約下で検討する。 単変量と多変量の両方の設定において,通信コストと統計的精度のトレードオフを特徴付ける収束の最小値を確立する。 通信効率と統計的に最適な手順が開発されている。 不定値の場合、最適なレートは、各ローカルマシンが少なくとも1ビットしか持たない限り、全体の通信予算にのみ依存する。 しかし、多変量の場合、ミニマックスレートはローカルマシン間の通信予算の特定の割り当てに依存する。 ガウス平均の最適推定は、従来の設定では比較的単純なものであるが、最適な手続き設計と下限引数の両方の観点から、通信制約下では極めて関与している。 本論文で開発された手法は, 独立した興味を持つことができる。 重要なステップは、極小推定問題を局所化と洗練の2段階に分解することである。 この臨界分解は、下界解析と最適手順設計の両方のためのフレームワークを提供する。

関連論文リスト

• Optimal Data Splitting in Distributed Optimization for Machine Learning [85.99744701008802]
  本研究は,サーバとローカルマシン間の分散データの最適比に着目し,通信コストとローカル計算のコストについて検討する。 ネットワークの実行時間は、一様分布と最適分布で比較される。 提案手法の優れた理論的性能を実験的に検証した。
  論文  参考訳（メタデータ） (2024-01-15T16:30:12Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• Distributed Nonparametric Estimation under Communication Constraints [0.0]
  通信制約下での分散推定の振る舞いを理解するための一般的なフレームワークを提供する。 分散回帰, 密度推定, 分類, ポアソン回帰, ボラティリティ推定モデルにおいて, 最小値と一致する上限を導出する。
  論文  参考訳（メタデータ） (2022-04-21T19:04:50Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
  集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。 $varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。 この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
  論文  参考訳（メタデータ） (2021-10-24T04:03:00Z)
• DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
  インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。 非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。 詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-04T03:17:41Z)
• Distributed Nonparametric Function Estimation: Optimal Rate of Convergence and Cost of Adaptation [1.332560004325655]
  通信制約下での分散ミニマックス推定と分散適応推定について検討した。 適応のための正確な通信コストを定量化し、分散推定のための最適な適応手順を構築する。
  論文  参考訳（メタデータ） (2021-07-01T02:16:16Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。