論文の概要: Wyner-Ziv Estimators: Efficient Distributed Mean Estimation with Side Information

• arxiv url: http://arxiv.org/abs/2011.12160v1
• Date: Tue, 24 Nov 2020 15:19:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:53:10.230547
• Title: Wyner-Ziv Estimators: Efficient Distributed Mean Estimation with Side Information
• Title（参考訳）: Wyner-Ziv 推定器:サイド情報を用いた効率的な分散平均推定
• Authors: Prathamesh Mayekar, Ananda Theertha Suresh, and Himanshu Tyagi
• Abstract要約: 本研究では,サーバがサイド情報にアクセス可能な分散平均推定問題について検討する。 本稿では,コミュニケーションと計算効率のよいemphWyner-Ziv推定器を提案する。 異なる方向から、相関サンプリングを用いたWyner-Ziv推定器を提案する。
• 参考スコア（独自算出の注目度）: 36.49502352300087
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Communication efficient distributed mean estimation is an important primitive that arises in many distributed learning and optimization scenarios such as federated learning. Without any probabilistic assumptions on the underlying data, we study the problem of distributed mean estimation where the server has access to side information. We propose \emph{Wyner-Ziv estimators}, which are communication and computationally efficient and near-optimal when an upper bound for the distance between the side information and the data is known. As a corollary, we also show that our algorithms provide efficient schemes for the classic Wyner-Ziv problem in information theory. In a different direction, when there is no knowledge assumed about the distance between side information and the data, we present an alternative Wyner-Ziv estimator that uses correlated sampling. This latter setting offers {\em universal recovery guarantees}, and perhaps will be of interest in practice when the number of users is large and keeping track of the distances between the data and the side information may not be possible.
• Abstract（参考訳）: コミュニケーション効率のよい分散平均推定は、連合学習のような多くの分散学習や最適化シナリオで発生する重要なプリミティブである。 基礎となるデータに対する確率論的仮定がなければ、サーバがサイド情報にアクセスする分散平均推定の問題を研究できる。 側情報とデータとの間の距離の上限が分かっている場合、通信と計算効率が良く、最適に近い推定器である \emph{wyner-ziv estimators} を提案する。 また,情報理論における古典的なWyner-Ziv問題に対して,アルゴリズムが効率的なスキームを提供することを示す。 別の方向では、サイド情報とデータの距離に関する知識が仮定されていない場合、相関サンプリングを用いたwyner-ziv推定器を提案する。 この後者の設定は、普遍的なリカバリ保証を提供するものであり、おそらく、ユーザ数が膨大であり、データとサイド情報の間の距離の追跡が不可能な場合に、実際に興味を持つだろう。

関連論文リスト

• Mutual Information Multinomial Estimation [53.58005108981247]
  相互情報(MI)の推定は、データサイエンスと機械学習の基本的な課題である。 我々の主な発見は、データ分布の予備的な推定が、劇的に予測に役立ちます。 非ガウス的合成問題を含む多種多様な課題に対する実験は,本手法の利点を実証している。
  論文  参考訳（メタデータ） (2024-08-18T06:27:30Z)
• Multi-Source Conformal Inference Under Distribution Shift [41.701790856201036]
  複数のバイアスのあるデータソースを活用することにより,対象個体数の分布自由な予測区間を得るという課題を考察する。 対象集団および源集団における未観測結果の定量値に対する効率的な影響関数を導出する。 本稿では、効率向上のための重み付き情報ソースとバイアス低減のための重み付き非情報ソースに対するデータ適応戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-15T13:33:09Z)
• Mean Estimation with User-Level Privacy for Spatio-Temporal IoT Datasets [5.34194012533815]
  実世界のデータセット上での低い推定誤差を保証するために,ユーザレベルの差分プライベートアルゴリズムを開発した。 インド都市のITMS(Intelligent Traffic Management System)データを用いて,本アルゴリズムを検証した。 ファストケースデータセットにおける擬似ユーザ生成に基づくアルゴリズムの性能を,ミニマックスアプローチを用いて評価する。
  論文  参考訳（メタデータ） (2024-01-29T06:21:29Z)
• Optimal Data Splitting in Distributed Optimization for Machine Learning [85.99744701008802]
  本研究は,サーバとローカルマシン間の分散データの最適比に着目し,通信コストとローカル計算のコストについて検討する。 ネットワークの実行時間は、一様分布と最適分布で比較される。 提案手法の優れた理論的性能を実験的に検証した。
  論文  参考訳（メタデータ） (2024-01-15T16:30:12Z)
• Leveraging Spatial and Temporal Correlations in Sparsified Mean Estimation [11.602121447683597]
  本研究では,複数のノードに分散したベクトルの集合の平均を中央サーバで推定する問題について検討する。 我々は、サーバが平均値を推定するために使用する復号法を単純に修正することで、これらの相関を利用する。 そこで本研究では,PCA,K-Means,ロジスティック回帰実験とともに,結果の予測誤差の解析を行う。
  論文  参考訳（メタデータ） (2021-10-14T22:24:26Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Time-Series Imputation with Wasserstein Interpolation for Optimal Look-Ahead-Bias and Variance Tradeoff [66.59869239999459]
  ファイナンスでは、ポートフォリオ最適化モデルをトレーニングする前に、損失の計算を適用することができる。 インキュベーションのために全データセットを使用するルックアヘッドバイアスと、トレーニングデータのみを使用することによるインキュベーションの大きなばらつきとの間には、本質的にトレードオフがある。 提案手法は,提案法における差分とルックアヘッドバイアスのトレードオフを最適に制御するベイズ後部コンセンサス分布である。
  論文  参考訳（メタデータ） (2021-02-25T09:05:35Z)
• High-Dimensional Multi-Task Averaging and Application to Kernel Mean Embedding [0.0]
  マルチタスク平均化問題に対する改善された推定器を提案する。 我々は、この手法が平均二乗誤差の低減をもたらすことを理論的に証明する。 このアプローチの応用は、複数のカーネルの平均埋め込みの推定である。
  論文  参考訳（メタデータ） (2020-11-13T07:31:30Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。