論文の概要: Online Distributed Learning over Random Networks
- arxiv url: http://arxiv.org/abs/2309.00520v1
- Date: Fri, 1 Sep 2023 15:18:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-04 13:11:38.320582
- Title: Online Distributed Learning over Random Networks
- Title(参考訳): ランダムネットワークによるオンライン分散学習
- Authors: Nicola Bastianello, Diego Deplano, Mauro Franceschelli, Karl H.
Johansson
- Abstract要約: 本研究は, 実運用による課題として, (i) オンライン学習, (i) ローカルデータの時間的変化, (ii) 非同期エージェントの計算, (iii) 信頼性の低い限られた通信, (iv) ローカルの計算を不正確に行うことに焦点を当てる。
マルチプライヤの交互方向法(ADMM)の分散演算子理論(DOT)版を紹介する。
我々は,凸学習の問題に収束することが証明された。
- 参考スコア(独自算出の注目度): 1.119697400073873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent deployment of multi-agent systems in a wide range of scenarios has
enabled the solution of learning problems in a distributed fashion. In this
context, agents are tasked with collecting local data and then cooperatively
train a model, without directly sharing the data. While distributed learning
offers the advantage of preserving agents' privacy, it also poses several
challenges in terms of designing and analyzing suitable algorithms. This work
focuses specifically on the following challenges motivated by practical
implementation: (i) online learning, where the local data change over time;
(ii) asynchronous agent computations; (iii) unreliable and limited
communications; and (iv) inexact local computations. To tackle these
challenges, we introduce the Distributed Operator Theoretical (DOT) version of
the Alternating Direction Method of Multipliers (ADMM), which we call the
DOT-ADMM Algorithm. We prove that it converges with a linear rate for a large
class of convex learning problems (e.g., linear and logistic regression
problems) toward a bounded neighborhood of the optimal time-varying solution,
and characterize how the neighborhood depends on~$\text{(i)--(iv)}$. We
corroborate the theoretical analysis with numerical simulations comparing the
DOT-ADMM Algorithm with other state-of-the-art algorithms, showing that only
the proposed algorithm exhibits robustness to (i)--(iv).
- Abstract(参考訳): 近年のマルチエージェントシステムの幅広いシナリオへの展開により,分散手法による学習問題の解決が可能になった。
このコンテキストでは、エージェントはローカルデータを収集し、データを直接共有することなく、モデルを協調的に訓練する。
分散学習はエージェントのプライバシ保護の利点を提供するが、適切なアルゴリズムの設計と分析に関していくつかの課題も生じている。
本研究は、実践的な実施によって動機づけられた以下の課題に特に焦点をあてる。
(i)地域データが時間とともに変化するオンライン学習
(ii)非同期エージェント計算
(iii)信頼できず、限定的な通信
(iv)局所計算に不備がある。
これらの課題に対処するため,我々は分散演算子理論 (DOT) 版であるALMM(Alternating Direction Method of Multipliers)を導入し,これをDOT-ADMMアルゴリズムと呼ぶ。
最適時変解の有界近傍に向けて、凸学習問題(線形回帰問題やロジスティック回帰問題など)の大規模クラスに対する線形率と収束し、近傍が−$\text{} にどのように依存するかを特徴付ける。
(i)--
(iv)$。
我々は、DOT-ADMMアルゴリズムと他の最先端アルゴリズムを比較した数値シミュレーションを用いて理論解析を相関させ、提案アルゴリズムだけが堅牢性を示すことを示す。
(i)--
(iv)
関連論文リスト
- Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Distributed Linear Regression with Compositional Covariates [5.085889377571319]
大規模合成データにおける分散スパースペナル化線形ログコントラストモデルに着目する。
2つの異なる制約凸最適化問題を解くために2つの分散最適化手法を提案する。
分散化されたトポロジでは、通信効率の高い正規化推定値を得るための分散座標ワイド降下アルゴリズムを導入する。
論文 参考訳(メタデータ) (2023-10-21T11:09:37Z) - Pretrained Cost Model for Distributed Constraint Optimization Problems [37.79733538931925]
分散制約最適化問題(DCOP)は、最適化問題の重要なサブクラスである。
本稿では,DCOPのための新しい非巡回グラフスキーマ表現を提案し,グラフ表現を組み込むためにグラフ注意ネットワーク(GAT)を利用する。
我々のモデルであるGAT-PCMは、幅広いDCOPアルゴリズムを向上するために、オフラインで最適なラベル付きデータで事前訓練される。
論文 参考訳(メタデータ) (2021-12-08T09:24:10Z) - Distributed Estimation of Sparse Inverse Covariance Matrices [0.7832189413179361]
分散エージェントが収集したデータからネットワーク構造をリアルタイムで学習する分散スパース逆共分散アルゴリズムを提案する。
我々のアプローチは、エージェントが望ましい構造を協調的に学習できるコンセンサス項を付加した、オンラインのグラフィカル交代最小化アルゴリズムに基づいて構築されている。
論文 参考訳(メタデータ) (2021-09-24T15:26:41Z) - Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。
エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。
コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-04T07:52:34Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z) - Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。
i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
論文 参考訳(メタデータ) (2020-05-18T16:28:54Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z) - Decentralized MCTS via Learned Teammate Models [89.24858306636816]
本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。
深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
論文 参考訳(メタデータ) (2020-03-19T13:10:20Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。