論文の概要: Correlated quantization for distributed mean estimation and optimization
- arxiv url: http://arxiv.org/abs/2203.04925v1
- Date: Wed, 9 Mar 2022 18:14:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-10 16:56:14.826609
- Title: Correlated quantization for distributed mean estimation and optimization
- Title(参考訳): 分散平均推定と最適化のための相関量子化
- Authors: Ananda Theertha Suresh, Ziteng Sun, Jae Hun Ro, Felix Yu
- Abstract要約: 本稿では,誤差保証が絶対範囲ではなくデータ点のずれに依存する相関量子化プロトコルを提案する。
分散最適化アルゴリズムにおいて,提案プロトコルをサブルーチンとして適用することにより,コンバージェンス率が向上することを示す。
- 参考スコア(独自算出の注目度): 21.17434087570296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of distributed mean estimation and optimization under
communication constraints. We propose a correlated quantization protocol whose
error guarantee depends on the deviation of data points instead of their
absolute range. The design doesn't need any prior knowledge on the
concentration property of the dataset, which is required to get such dependence
in previous works. We show that applying the proposed protocol as sub-routine
in distributed optimization algorithms leads to better convergence rates. We
also prove the optimality of our protocol under mild assumptions. Experimental
results show that our proposed algorithm outperforms existing mean estimation
protocols on a diverse set of tasks.
- Abstract(参考訳): 通信制約下での分散平均推定と最適化の問題について検討する。
本稿では,誤差保証が絶対範囲ではなくデータ点の偏差に依存する相関量子化プロトコルを提案する。
この設計ではデータセットの濃度特性に関する事前の知識は必要ありません。
分散最適化アルゴリズムにおいて,提案プロトコルをサブルーチンとして適用することで,収束率の向上が期待できる。
また、軽度の仮定でプロトコルの最適性を証明する。
実験の結果,提案手法は,既存の平均推定プロトコルを様々なタスクで上回っていることがわかった。
関連論文リスト
- Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - On diffusion-based generative models and their error bounds: The
log-concave case with full convergence estimates [3.8447306272420816]
我々は,強い対数空間データ分布を仮定して,拡散に基づく生成モデルの収束挙動を理論的に保証する。
我々は、モチベーションの例を通して、未知の平均を持つガウス分布からサンプリングし、我々のアプローチの強力さを実証する。
この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文 参考訳(メタデータ) (2023-11-22T18:40:45Z) - Integrated Conditional Estimation-Optimization [6.037383467521294]
確率のある不確実なパラメータを文脈的特徴情報を用いて推定できる実世界の多くの最適化問題である。
不確実なパラメータの分布を推定する標準的な手法とは対照的に,統合された条件推定手法を提案する。
当社のI CEOアプローチは、穏健な条件下で理論的に一貫性があることを示します。
論文 参考訳(メタデータ) (2021-10-24T04:49:35Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Distributed Nonparametric Function Estimation: Optimal Rate of
Convergence and Cost of Adaptation [1.332560004325655]
通信制約下での分散ミニマックス推定と分散適応推定について検討した。
適応のための正確な通信コストを定量化し、分散推定のための最適な適応手順を構築する。
論文 参考訳(メタデータ) (2021-07-01T02:16:16Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Data-Driven Combinatorial Optimization with Incomplete Information: a
Distributionally Robust Optimization Approach [0.0]
我々は,コストベクトルが先行性を持たないが,有限データセットでしか観測できない線形最適化問題を解析する。
目標は、データセットを対象関数の期待値の推定値に変換する手順を見つけることである。
論文 参考訳(メタデータ) (2021-05-28T23:17:35Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - A Framework for Sample Efficient Interval Estimation with Control
Variates [94.32811054797148]
確率変数の平均に対して信頼区間を推定する問題を考察する。
ある条件下では、既存の推定アルゴリズムと比較して効率が向上している。
論文 参考訳(メタデータ) (2020-06-18T05:42:30Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。