論文の概要: Accelerating Distributed SGD for Linear Regression using Iterative Pre-Conditioning

• arxiv url: http://arxiv.org/abs/2011.07595v2
• Date: Sat, 28 Nov 2020 08:05:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 07:12:28.991938
• Title: Accelerating Distributed SGD for Linear Regression using Iterative Pre-Conditioning
• Title（参考訳）: 反復前処理による線形回帰のための分散SGDの高速化
• Authors: Kushal Chakrabarti, Nirupam Gupta and Nikhil Chopra
• Abstract要約: 繰り返しプレコンディショニングされたグラディエント・ディフレッシュ法(IPSG)は,既存の分散アルゴリズムよりも高速に収束することを示した。 IPSG法の収束速度は、サーバベースネットワークにおける線形最小二乗問題を解くための顕著なアルゴリズムと比較して好意的に比較される。
• 参考スコア（独自算出の注目度）: 0.966840768820136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the multi-agent distributed linear least-squares problem. The system comprises multiple agents, each agent with a locally observed set of data points, and a common server with whom the agents can interact. The agents' goal is to compute a linear model that best fits the collective data points observed by all the agents. In the server-based distributed settings, the server cannot access the data points held by the agents. The recently proposed Iteratively Pre-conditioned Gradient-descent (IPG) method has been shown to converge faster than other existing distributed algorithms that solve this problem. In the IPG algorithm, the server and the agents perform numerous iterative computations. Each of these iterations relies on the entire batch of data points observed by the agents for updating the current estimate of the solution. Here, we extend the idea of iterative pre-conditioning to the stochastic settings, where the server updates the estimate and the iterative pre-conditioning matrix based on a single randomly selected data point at every iteration. We show that our proposed Iteratively Pre-conditioned Stochastic Gradient-descent (IPSG) method converges linearly in expectation to a proximity of the solution. Importantly, we empirically show that the proposed IPSG method's convergence rate compares favorably to prominent stochastic algorithms for solving the linear least-squares problem in server-based networks.
• Abstract（参考訳）: 本稿では,マルチエージェント分散線形最小二乗問題を考える。 システムは複数のエージェントと、各エージェントがローカルに観測されたデータポイントのセットを持ち、エージェントが対話できる共通のサーバから構成される。 エージェントの目標は、すべてのエージェントが観測する集合データポイントに最も適した線形モデルを計算することである。 サーバベースの分散設定では、サーバはエージェントが保持するデータポイントにアクセスすることができない。 最近提案されたIteratively Pre-conditioned Gradient-descent (IPG)法は、この問題を解決する他の分散アルゴリズムよりも高速に収束することが示されている。 IPGアルゴリズムでは、サーバとエージェントは多数の反復計算を行う。 それぞれのイテレーションは、ソリューションの現在の見積を更新するためにエージェントが観察したデータポイントのバッチ全体に依存する。 本稿では,反復前条件付けの考え方を確率的設定に拡張し,サーバが反復毎にランダムに選択した1つのデータポイントに基づいて推定値と反復前条件行列を更新する。 提案した反復的事前条件付確率勾配降下法 (IPSG) は, 解の近さを期待して線形に収束することを示す。 さらに,ipsg法の収束率は,サーバベースネットワークにおける線形最小二乗問題を解くための確率的アルゴリズムと比較して好適であることを示す。

関連論文リスト

• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Distributed Bayesian Estimation in Sensor Networks: Consensus on Marginal Densities [15.038649101409804]
  連続変数上の確率分布の関数空間において、確率的確率的アルゴリズムを導出する。 これらの結果を利用して、個々のエージェントが観測する変数のサブセットに制限された新しい分散推定器を得る。 これは、協調的なローカライゼーションやフェデレートドラーニングのような応用に関係しており、任意のエージェントで収集されたデータは、関心のあるすべての変数のサブセットに依存する。
  論文  参考訳（メタデータ） (2023-12-02T21:10:06Z)
• Iterative Sketching for Secure Coded Regression [66.53950020718021]
  分散線形回帰を高速化する手法を提案する。 具体的には、方程式の系の基礎をランダムに回転させ、次にサブサンプルブロックを回転させ、情報を同時に確保し、回帰問題の次元を小さくする。
  論文  参考訳（メタデータ） (2023-08-08T11:10:42Z)
• Federated Learning Using Variance Reduced Stochastic Gradient for Probabilistically Activated Agents [0.0]
  本稿では,各エージェントが各反復において任意の選択の確率を持つような最適解に対して,分散低減と高速収束率の両方を達成する2層構造を持つフェデレートラーニング(FL)のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-25T22:04:49Z)
• Optimal Clustering with Bandit Feedback [57.672609011609886]
  本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。 これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。 合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T06:05:05Z)
• On Accelerating Distributed Convex Optimizations [0.0]
  本稿では,分散マルチエージェント凸最適化問題について検討する。 提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。 実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-19T13:19:54Z)
• Robustness of Iteratively Pre-Conditioned Gradient-Descent Method: The Case of Distributed Linear Regression Problem [0.0]
  ノイズフリーシステムにおいて、最近提案されている分散線形回帰アルゴリズムは、反復前条件勾配拡散法 (ipg) と呼ばれ、関連する手法よりも高速に収束すると主張している。 IPG法のロバスト性は,最先端のアルゴリズムと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2021-01-26T17:51:49Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem [0.966840768820136]
  本稿では,サーバエージェントネットワークにおけるマルチエージェント線形最小二乗問題について考察する。 エージェントの目標は、個々のローカルデータポイントを共有することなく、すべてのエージェントが保持する集合データポイントに最適に適合する線形モデルを計算することである。 本稿では,データ点の条件付けによる劣化効果を緩和する反復的プレコンディショニング手法を提案する。
  論文  参考訳（メタデータ） (2020-08-06T20:01:18Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features [52.856801164425086]
  目的関数を滑らかな局所関数と凸(おそらく非滑らか)結合関数の和とするマルチエージェント共有最適化問題について検討する。
  論文  参考訳（メタデータ） (2020-06-15T19:40:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。