Fugu-MT 論文翻訳(概要): Correlated quantization for distributed mean estimation and optimization

論文の概要: Correlated quantization for distributed mean estimation and optimization

arxiv url: http://arxiv.org/abs/2203.04925v1
Date: Wed, 9 Mar 2022 18:14:55 GMT
ステータス: 処理完了
システム内更新日: 2022-03-10 16:56:14.826609
Title: Correlated quantization for distributed mean estimation and optimization
Title（参考訳）: 分散平均推定と最適化のための相関量子化
Authors: Ananda Theertha Suresh, Ziteng Sun, Jae Hun Ro, Felix Yu
Abstract要約: 本稿では,誤差保証が絶対範囲ではなくデータ点のずれに依存する相関量子化プロトコルを提案する。分散最適化アルゴリズムにおいて,提案プロトコルをサブルーチンとして適用することにより,コンバージェンス率が向上することを示す。
参考スコア（独自算出の注目度）: 21.17434087570296
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the problem of distributed mean estimation and optimization under communication constraints. We propose a correlated quantization protocol whose error guarantee depends on the deviation of data points instead of their absolute range. The design doesn't need any prior knowledge on the concentration property of the dataset, which is required to get such dependence in previous works. We show that applying the proposed protocol as sub-routine in distributed optimization algorithms leads to better convergence rates. We also prove the optimality of our protocol under mild assumptions. Experimental results show that our proposed algorithm outperforms existing mean estimation protocols on a diverse set of tasks.
Abstract（参考訳）: 通信制約下での分散平均推定と最適化の問題について検討する。本稿では,誤差保証が絶対範囲ではなくデータ点の偏差に依存する相関量子化プロトコルを提案する。この設計ではデータセットの濃度特性に関する事前の知識は必要ありません。分散最適化アルゴリズムにおいて,提案プロトコルをサブルーチンとして適用することで,収束率の向上が期待できる。また、軽度の仮定でプロトコルの最適性を証明する。実験の結果,提案手法は,既存の平均推定プロトコルを様々なタスクで上回っていることがわかった。

関連論文リスト

Differentially-Private Collaborative Online Personalized Mean Estimation [22.399703712241546]
プライバシー制約下での協調的パーソナライズされた平均推定の問題を考える。 2つのプライバシ機構と2つのデータ分散推定方式を提案する。コラボレーションが完全に局所的なアプローチよりも早く収束することを示します。
論文参考訳（メタデータ） (2024-11-11T16:14:56Z)
Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
論文参考訳（メタデータ） (2024-06-06T17:37:39Z)
Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文参考訳（メタデータ） (2024-01-29T02:08:40Z)
On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文参考訳（メタデータ） (2023-11-22T18:40:45Z)
Integrated Conditional Estimation-Optimization [6.037383467521294]
確率のある不確実なパラメータを文脈的特徴情報を用いて推定できる実世界の多くの最適化問題である。不確実なパラメータの分布を推定する標準的な手法とは対照的に,統合された条件推定手法を提案する。当社のI CEOアプローチは、穏健な条件下で理論的に一貫性があることを示します。
論文参考訳（メタデータ） (2021-10-24T04:49:35Z)
Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。これらの問題に対する新規で簡単な最適化法を開発した。結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文参考訳（メタデータ） (2021-09-23T17:38:24Z)
Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文参考訳（メタデータ） (2021-06-30T11:00:24Z)
Data-Driven Combinatorial Optimization with Incomplete Information: a Distributionally Robust Optimization Approach [0.0]
我々は,コストベクトルが先行性を持たないが,有限データセットでしか観測できない線形最適化問題を解析する。目標は、データセットを対象関数の期待値の推定値に変換する手順を見つけることである。
論文参考訳（メタデータ） (2021-05-28T23:17:35Z)
A Framework for Sample Efficient Interval Estimation with Control Variates [94.32811054797148]
確率変数の平均に対して信頼区間を推定する問題を考察する。ある条件下では、既存の推定アルゴリズムと比較して効率が向上している。
論文参考訳（メタデータ） (2020-06-18T05:42:30Z)
Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。