Fugu-MT 論文翻訳(概要): DRIVE: One-bit Distributed Mean Estimation

論文の概要: DRIVE: One-bit Distributed Mean Estimation

arxiv url: http://arxiv.org/abs/2105.08339v1
Date: Tue, 18 May 2021 08:03:39 GMT
ステータス: 処理完了
システム内更新日: 2021-05-19 13:51:39.436190
Title: DRIVE: One-bit Distributed Mean Estimation
Title（参考訳）: DRIVE: 1ビット分散平均推定
Authors: Shay Vargaftik, Ran Ben Basat, Amit Portnoy, Gal Mendelson, Yaniv Ben-Itzhak, Michael Mitzenmacher
Abstract要約: n$クライアントが$d(1+o(1))$ビットのみを使用して$d$次元実数値ベクトルを送信する問題を検討する。我々は,従来の圧縮アルゴリズムを精度と計算効率で上回る新しいアルゴリズムを導出する。
参考スコア（独自算出の注目度）: 16.41391088542669
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the problem where $n$ clients transmit $d$-dimensional real-valued vectors using only $d(1+o(1))$ bits each, in a manner that allows a receiver to approximately reconstruct their mean. Such compression problems arise in federated and distributed learning, as well as in other domains. We provide novel mathematical results and derive corresponding new algorithms that outperform previous compression algorithms in accuracy and computational efficiency. We evaluate our methods on a collection of distributed and federated learning tasks, using a variety of datasets, and show a consistent improvement over the state of the art.
Abstract（参考訳）: 我々は、$n$クライアントが$d(1+o(1))$ビットのみを使用して$d$-dimensional real-valuedベクターを送信する問題を考える。このような圧縮問題は、フェデレートされた分散学習や、他の領域でも発生する。従来の圧縮アルゴリズムを精度と計算効率で上回る、新しい数学的結果を提供し、それに対応する新しいアルゴリズムを導出する。本手法は,分散学習タスクとフェデレーション学習タスクの集合において,様々なデータセットを用いて評価し,その状態に対して一貫した改善を示す。

関連論文リスト

Perturb-and-Project: Differentially Private Similarities and Marginals [73.98880839337873]
差分プライバシーのための入力摂動フレームワークを再検討し、入力にノイズを付加する。まず、ペアワイズ・コサイン類似性をプライベートにリリースするための新しい効率的なアルゴリズムを設計する。我々は,$k$の辺縁クエリを$n$の機能に対して計算する新しいアルゴリズムを導出する。
論文参考訳（メタデータ） (2024-06-07T12:07:16Z)
Learning general Gaussian mixtures with efficient score matching [16.06356123715737]
我々は、$d$次元で$k$ガウシアンの混合を学習する問題を研究する。我々は、下層の混合成分について分離を前提としない。我々は、ターゲット混合物から$dmathrmpoly(k/varepsilon)$サンプルを抽出し、サンプル-ポリノミカル時間で実行し、サンプリング器を構築するアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-04-29T17:30:36Z)
CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
論文参考訳（メタデータ） (2023-09-23T08:45:27Z)
Replicable Clustering [57.19013971737493]
我々は,統計学的な$k$-medians,統計学的な$k$-means,統計学的な$k$-centers問題のアルゴリズムをブラックボックス方式で近似ルーチンを用いて提案する。理論的結果を検証するブラックボックスとしてsklearnの$k$-means++実装を用いた2次元合成分布の実験も行っている。
論文参考訳（メタデータ） (2023-02-20T23:29:43Z)
Differentially-Private Hierarchical Clustering with Provable Approximation Guarantees [79.59010418610625]
階層クラスタリングのための微分プライベート近似アルゴリズムについて検討する。例えば、$epsilon$-DPアルゴリズムは入力データセットに対して$O(|V|2/epsilon)$-additiveエラーを示さなければならない。本稿では,ブロックを正確に復元する1+o(1)$近似アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-01-31T19:14:30Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates [0.0]
我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
論文参考訳（メタデータ） (2022-02-18T19:58:47Z)
Differentially Private Federated Learning via Inexact ADMM [0.0]
差分プライバシー(DP)技術は、データプライバシを推論攻撃から保護するために、フェデレーション付き学習モデルに適用することができる。我々は,信頼領域のサブプロブレム列を解く乗算器アルゴリズムのDP不正確な交互方向法を開発した。提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも22%削減すると同時に,データプライバシのレベルも同等に向上する。
論文参考訳（メタデータ） (2021-06-11T02:28:07Z)
Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。機械は独立して勾配を計算し協力することができます私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。それは非常に実用的です:それはないときすべての前の方法の性能を改善します。セッティングマシンがあります。
論文参考訳（メタデータ） (2020-12-28T17:19:32Z)
Efficient Algorithms for Multidimensional Segmented Regression [42.046881924063044]
多次元回帰を用いた固定設計の基本問題について検討する。我々は任意の固定次元におけるこの問題に対する最初のサンプルと計算効率のよいアルゴリズムを提供する。提案アルゴリズムは,多次元的条件下では新規な,単純なマージ反復手法に依存している。
論文参考訳（メタデータ） (2020-03-24T19:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。