論文の概要: Robustness of Iteratively Pre-Conditioned Gradient-Descent Method: The
Case of Distributed Linear Regression Problem
- arxiv url: http://arxiv.org/abs/2101.10967v1
- Date: Tue, 26 Jan 2021 17:51:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-13 19:58:53.470768
- Title: Robustness of Iteratively Pre-Conditioned Gradient-Descent Method: The
Case of Distributed Linear Regression Problem
- Title（参考訳）: 逐次事前条件付き勾配拡散法のロバスト性:分散線形回帰問題の場合
- Authors: Kushal Chakrabarti, Nirupam Gupta and Nikhil Chopra
- Abstract要約: ノイズフリーシステムにおいて、最近提案されている分散線形回帰アルゴリズムは、反復前条件勾配拡散法 (ipg) と呼ばれ、関連する手法よりも高速に収束すると主張している。
IPG法のロバスト性は,最先端のアルゴリズムと良好に比較できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers the problem of multi-agent distributed linear regression
in the presence of system noises. In this problem, the system comprises
multiple agents wherein each agent locally observes a set of data points, and
the agents' goal is to compute a linear model that best fits the collective
data points observed by all the agents. We consider a server-based distributed
architecture where the agents interact with a common server to solve the
problem; however, the server cannot access the agents' data points. We consider
a practical scenario wherein the system either has observation noise, i.e., the
data points observed by the agents are corrupted, or has process noise, i.e.,
the computations performed by the server and the agents are corrupted. In
noise-free systems, the recently proposed distributed linear regression
algorithm, named the Iteratively Pre-conditioned Gradient-descent (IPG) method,
has been claimed to converge faster than related methods. In this paper, we
study the robustness of the IPG method, against both the observation noise and
the process noise. We empirically show that the robustness of the IPG method
compares favorably to the state-of-the-art algorithms.
- Abstract（参考訳）: 本稿では,システムノイズの存在下でのマルチエージェント分散線形回帰問題について考察する。
この問題では、システムは、各エージェントがデータポイントのセットを局所的に観察する複数のエージェントで構成され、エージェントの目標は、すべてのエージェントが観察する集合データポイントに最も適した線形モデルを計算することである。
私たちは、エージェントが共通のサーバーと対話して問題を解決するサーバーベースの分散アーキテクチャを検討しますが、サーバーはエージェントのデータポイントにアクセスできません。
本稿では,監視ノイズ,すなわちエージェントが観測するデータポイントの破損,あるいはプロセスノイズ,すなわちサーバとエージェントが行う計算が破損する,といった実用シナリオについて考察する。
ノイズフリーシステムにおいて、最近提案されている分散線形回帰アルゴリズムは、反復前条件勾配拡散法 (ipg) と呼ばれ、関連する手法よりも高速に収束すると主張している。
本稿では, ipg法のロバスト性について, 観測ノイズとプロセスノイズの両方に対して検討する。
IPG法のロバスト性は,最先端のアルゴリズムと良好に比較できることを示す。
関連論文リスト
- Score-based Diffusion Models in Function Space [124.78023527392976]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Federated Temporal Difference Learning with Linear Function
Approximation under Environmental Heterogeneity [33.21929593049226]
モデル推定の交換により,エージェント数の線形収束速度が向上することを示す。
低ヘテロジニティ系では、モデル推定を交換すると、エージェントの数で線形収束速度が向上する。
論文 参考訳（メタデータ） (2023-02-04T17:53:55Z) - Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。
エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。
我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文 参考訳（メタデータ） (2022-06-01T00:44:53Z) - Optimal Clustering with Bandit Feedback [84.04424523097168]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳（メタデータ） (2022-02-09T06:05:05Z) - A Priori Denoising Strategies for Sparse Identification of Nonlinear
Dynamical Systems: A Comparative Study [68.8204255655161]
本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。
一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-01-29T23:31:25Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳（メタデータ） (2021-08-19T13:19:54Z) - Distributed Algorithms for Linearly-Solvable Optimal Control in
Networked Multi-Agent Systems [15.782670973813774]
ネットワーク化されたMASの最適制御問題を複数の局所最適制御問題に分割する分散フレームワークを提案する。
離散時間系では、各サブシステムの合同ベルマン方程式は線形方程式系に変換される。
連続時間系では、各サブシステムの合同最適方程式は線形偏微分方程式に変換される。
論文 参考訳（メタデータ） (2021-02-18T01:31:17Z) - Accelerating Distributed SGD for Linear Regression using Iterative
Pre-Conditioning [0.966840768820136]
繰り返しプレコンディショニングされたグラディエント・ディフレッシュ法(IPSG)は,既存の分散アルゴリズムよりも高速に収束することを示した。
IPSG法の収束速度は、サーバベースネットワークにおける線形最小二乗問題を解くための顕著なアルゴリズムと比較して好意的に比較される。
論文 参考訳（メタデータ） (2020-11-15T18:09:13Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Iterative Pre-Conditioning for Expediting the Gradient-Descent Method:
The Distributed Linear Least-Squares Problem [0.966840768820136]
本稿では,サーバエージェントネットワークにおけるマルチエージェント線形最小二乗問題について考察する。
エージェントの目標は、個々のローカルデータポイントを共有することなく、すべてのエージェントが保持する集合データポイントに最適に適合する線形モデルを計算することである。
本稿では,データ点の条件付けによる劣化効果を緩和する反復的プレコンディショニング手法を提案する。
論文 参考訳（メタデータ） (2020-08-06T20:01:18Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。