論文の概要: Distributed Nonparametric Estimation under Communication Constraints

• arxiv url: http://arxiv.org/abs/2204.10373v1
• Date: Thu, 21 Apr 2022 19:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 02:10:49.126668
• Title: Distributed Nonparametric Estimation under Communication Constraints
• Title（参考訳）: 通信制約下における分散非パラメトリック推定
• Authors: Azeem Zaman and Botond Szab\'o
• Abstract要約: 通信制約下での分散推定の振る舞いを理解するための一般的なフレームワークを提供する。 分散回帰, 密度推定, 分類, ポアソン回帰, ボラティリティ推定モデルにおいて, 最小値と一致する上限を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of big data, it is necessary to split extremely large data sets across multiple computing nodes and construct estimators using the distributed data. When designing distributed estimators, it is desirable to minimize the amount of communication across the network because transmission between computers is slow in comparison to computations in a single computer. Our work provides a general framework for understanding the behavior of distributed estimation under communication constraints for nonparametric problems. We provide results for a broad class of models, moving beyond the Gaussian framework that dominates the literature. As concrete examples we derive minimax lower and matching upper bounds in the distributed regression, density estimation, classification, Poisson regression and volatility estimation models under communication constraints. To assist with this, we provide sufficient conditions that can be easily verified in all of our examples.
• Abstract（参考訳）: ビッグデータの時代においては,複数のノードにまたがって非常に大きなデータセットを分割し,分散データを用いた推定器を構築する必要がある。 分散推定器を設計する場合,コンピュータ間の通信が1台のコンピュータの計算に比べて遅いため,ネットワーク間の通信量を最小化することが望ましい。 本研究は,非パラメトリック問題に対するコミュニケーション制約下での分散推定の挙動を理解するための汎用フレームワークを提供する。 より広いクラスのモデルに対して、文献を支配するガウスの枠組みを超えて結果を提供する。 具体例として、分散回帰、密度推定、分類、ポアソン回帰、ボラティリティ推定モデルにおいて、通信制約下での最小値と一致する上限を導出する。 これを支援するために、我々は全ての例で容易に検証できる十分な条件を提供する。

関連論文リスト

• Distributed Learning of Mixtures of Experts [0.0]
  私たちは、自然に分散されたデータセットや、計算を分散する潜在的に大きなデータセットを扱います。 本研究では,データ分散サブセットに並列に適合する局所的推定器から還元推定器を構築するために,専門家(MoE)モデルとアグリゲーション戦略を併用した分散学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:26:13Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Distributed Sparse Linear Regression under Communication Constraints [4.997371967242497]
  本稿では, 疎線形回帰モデルの分散学習に着目し, 厳しい通信制約下での学習に着目する。 我々の計画では、個々のマシンがデバイアスのラッソ推定器を計算しますが、融合センターに送信するのはごくわずかです。 シミュレーションでは、我々のスキームは通信集約的なアプローチよりもうまく機能し、場合によっては優れていることが示される。
  論文  参考訳（メタデータ） (2023-01-09T08:23:37Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
  集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。 $varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。 この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
  論文  参考訳（メタデータ） (2021-10-24T04:03:00Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
  本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。 i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
  論文  参考訳（メタデータ） (2020-05-18T16:28:54Z)
• A General Pairwise Comparison Model for Extremely Sparse Networks [5.298287413134346]
  ネットワークの間隔が最小に近い条件下で、被検者の潜伏スコアベクトルの最大確率推定器が一様であることを示す。 この結果から, 大規模対比較ネットワークにおける推定における最大確率推定器の正当性が保証された。
  論文  参考訳（メタデータ） (2020-02-20T16:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。