論文の概要: Distributed Sparse Linear Regression under Communication Constraints

• arxiv url: http://arxiv.org/abs/2301.04022v1
• Date: Mon, 9 Jan 2023 08:23:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 17:57:39.950832
• Title: Distributed Sparse Linear Regression under Communication Constraints
• Title（参考訳）: 通信制約下における分散スパース線形回帰
• Authors: Rodney Fonseca and Boaz Nadler
• Abstract要約: 本稿では, 疎線形回帰モデルの分散学習に着目し, 厳しい通信制約下での学習に着目する。 我々の計画では、個々のマシンがデバイアスのラッソ推定器を計算しますが、融合センターに送信するのはごくわずかです。 シミュレーションでは、我々のスキームは通信集約的なアプローチよりもうまく機能し、場合によっては優れていることが示される。
• 参考スコア（独自算出の注目度）: 4.997371967242497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multiple domains, statistical tasks are performed in distributed settings, with data split among several end machines that are connected to a fusion center. In various applications, the end machines have limited bandwidth and power, and thus a tight communication budget. In this work we focus on distributed learning of a sparse linear regression model, under severe communication constraints. We propose several two round distributed schemes, whose communication per machine is sublinear in the data dimension. In our schemes, individual machines compute debiased lasso estimators, but send to the fusion center only very few values. On the theoretical front, we analyze one of these schemes and prove that with high probability it achieves exact support recovery at low signal to noise ratios, where individual machines fail to recover the support. We show in simulations that our scheme works as well as, and in some cases better, than more communication intensive approaches.
• Abstract（参考訳）: 複数のドメインにおいて、統計処理は分散環境で行われ、データは融合センターに接続された複数のエンドマシンに分割される。 様々なアプリケーションにおいて、エンドマシンは帯域幅と電力が限られており、通信予算が厳しい。 本研究では,重度の通信制約下で分散線形回帰モデルの分散学習に焦点をあてる。 本稿では,マシンごとの通信がデータ次元のサブ線形である2つのラウンド分散スキームを提案する。 私たちのスキームでは、個々のマシンがデバイアスされたlasso推定値を計算するが、fusion centerに送信する値はごくわずかである。 理論的には、これらのスキームの1つを分析し、高い確率で低信号から雑音比での正確な支持回復を実現し、個々の機械が支持を回復できないことを示す。 シミュレーションでは、我々のスキームは通信集約的なアプローチよりもうまく機能し、場合によっては優れていることが示される。

関連論文リスト

• Perceiver-based CDF Modeling for Time Series Forecasting [25.26713741799865]
  本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。 提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。 単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
  論文  参考訳（メタデータ） (2023-10-03T01:13:17Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Federated Empirical Risk Minimization via Second-Order Method [18.548661105227488]
  連合学習環境下での一般的な経験的リスク最小化問題を解決するためのインテリアポイント法(IPM)を提案する。 IPMの各イテレーションの通信複雑性は$tildeO(d3/2)$であり、$d$はデータセットの次元(つまり、多くの機能)である。
  論文  参考訳（メタデータ） (2023-05-27T14:23:14Z)
• On Optimizing the Communication of Model Parallelism [74.15423270435949]
  大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。 クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。 本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
  論文  参考訳（メタデータ） (2022-11-10T03:56:48Z)
• FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
  我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
  論文  参考訳（メタデータ） (2022-10-26T00:23:36Z)
• Recovery Guarantees for Distributed-OMP [8.393317912360564]
  高次元スパース線形回帰のための分散スキームについて検討する。 分散OMPスキームは, 分散OMP方式により, マシン単位の線形通信による回帰ベクトルの支持を回復し, 空間的・対数的次元で表す。 シミュレーションにより,分散OMP方式はより計算集約的な手法と競合することを示した。
  論文  参考訳（メタデータ） (2022-09-15T11:43:33Z)
• Distributed Nonparametric Estimation under Communication Constraints [0.0]
  通信制約下での分散推定の振る舞いを理解するための一般的なフレームワークを提供する。 分散回帰, 密度推定, 分類, ポアソン回帰, ボラティリティ推定モデルにおいて, 最小値と一致する上限を導出する。
  論文  参考訳（メタデータ） (2022-04-21T19:04:50Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
  本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。 i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
  論文  参考訳（メタデータ） (2020-05-18T16:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。