論文の概要: Online Distributed Learning over Random Networks

• arxiv url: http://arxiv.org/abs/2309.00520v1
• Date: Fri, 1 Sep 2023 15:18:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 13:11:38.320582
• Title: Online Distributed Learning over Random Networks
• Title（参考訳）: ランダムネットワークによるオンライン分散学習
• Authors: Nicola Bastianello, Diego Deplano, Mauro Franceschelli, Karl H. Johansson
• Abstract要約: 本研究は, 実運用による課題として, (i) オンライン学習, (i) ローカルデータの時間的変化, (ii) 非同期エージェントの計算, (iii) 信頼性の低い限られた通信, (iv) ローカルの計算を不正確に行うことに焦点を当てる。 マルチプライヤの交互方向法(ADMM)の分散演算子理論(DOT)版を紹介する。 我々は,凸学習の問題に収束することが証明された。
• 参考スコア（独自算出の注目度）: 1.119697400073873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent deployment of multi-agent systems in a wide range of scenarios has enabled the solution of learning problems in a distributed fashion. In this context, agents are tasked with collecting local data and then cooperatively train a model, without directly sharing the data. While distributed learning offers the advantage of preserving agents' privacy, it also poses several challenges in terms of designing and analyzing suitable algorithms. This work focuses specifically on the following challenges motivated by practical implementation: (i) online learning, where the local data change over time; (ii) asynchronous agent computations; (iii) unreliable and limited communications; and (iv) inexact local computations. To tackle these challenges, we introduce the Distributed Operator Theoretical (DOT) version of the Alternating Direction Method of Multipliers (ADMM), which we call the DOT-ADMM Algorithm. We prove that it converges with a linear rate for a large class of convex learning problems (e.g., linear and logistic regression problems) toward a bounded neighborhood of the optimal time-varying solution, and characterize how the neighborhood depends on~$\text{(i)--(iv)}$. We corroborate the theoretical analysis with numerical simulations comparing the DOT-ADMM Algorithm with other state-of-the-art algorithms, showing that only the proposed algorithm exhibits robustness to (i)--(iv).
• Abstract（参考訳）: 近年のマルチエージェントシステムの幅広いシナリオへの展開により,分散手法による学習問題の解決が可能になった。 このコンテキストでは、エージェントはローカルデータを収集し、データを直接共有することなく、モデルを協調的に訓練する。 分散学習はエージェントのプライバシ保護の利点を提供するが、適切なアルゴリズムの設計と分析に関していくつかの課題も生じている。 本研究は、実践的な実施によって動機づけられた以下の課題に特に焦点をあてる。 (i)地域データが時間とともに変化するオンライン学習 (ii)非同期エージェント計算 (iii)信頼できず、限定的な通信 (iv)局所計算に不備がある。 これらの課題に対処するため,我々は分散演算子理論 (DOT) 版であるALMM(Alternating Direction Method of Multipliers)を導入し,これをDOT-ADMMアルゴリズムと呼ぶ。 最適時変解の有界近傍に向けて、凸学習問題(線形回帰問題やロジスティック回帰問題など)の大規模クラスに対する線形率と収束し、近傍が−$\text{} にどのように依存するかを特徴付ける。 (i)-- (iv)$。 我々は、DOT-ADMMアルゴリズムと他の最先端アルゴリズムを比較した数値シミュレーションを用いて理論解析を相関させ、提案アルゴリズムだけが堅牢性を示すことを示す。 (i)-- (iv)

関連論文リスト

• Online Parallel Multi-Task Relationship Learning via Alternating Direction Method of Multipliers [37.859185005986056]
  オンラインマルチタスク学習(OMTL)は、複数のタスク間の固有の関係を活用することで、ストリーミングデータ処理を強化する。 本研究では、分散コンピューティング環境に適した最近の最適化である交互方向乗算器法(ADMM)に基づく新しいOMTLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-09T10:20:13Z)
• Unsupervised Domain Adaptation Via Data Pruning [0.0]
  非教師なし領域適応(UDA)の観点から問題を考える。 本稿では,UDAのトレーニング例を取り除き,トレーニング分布を対象データと整合させる手法であるAdaPruneを提案する。 UDAの手法として、AdaPruneは関連する技術より優れており、CoRALなどの他のUDAアルゴリズムと相補的であることを示す。
  論文  参考訳（メタデータ） (2024-09-18T15:48:59Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• DIMAT: Decentralized Iterative Merging-And-Training for Deep Learning Models [21.85879890198875]
  Decentralized Iterative Merging-And-Training (DIMAT) は、新しい分散深層学習アルゴリズムである。 DIMATは, 独立・同一分散(IID)および非IIDデータを用いて, 通信オーバヘッドの低減を図ることにより, より高速かつ高い初期ゲインが得られることを示す。 このDIMATパラダイムは未来の分散学習に新たな機会を与え、疎結合な通信計算で現実世界への適応性を高める。
  論文  参考訳（メタデータ） (2024-04-11T18:34:29Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• GeONet: a neural operator for learning the Wasserstein geodesic [13.468026138183623]
  本稿では、初期分布と終端分布の入力対から2つのエンドポイント分布を接続するワッサーシュタイン測地線への非線形マッピングを学習するメッシュ不変なディープニューラルネットワークであるGeONetを提案する。 シミュレーション例では,GeONet が標準 OT ソルバと同等の精度で,MNIST データセットに比較して,予測段階の計算コストを桁違いに大幅に削減することを示した。
  論文  参考訳（メタデータ） (2022-09-28T21:55:40Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Efficient Construction of Nonlinear Models over Normalized Data [21.531781003420573]
  混合モデルを構築するためにバイナリ結合とマルチウェイ結合の両方を系統的に分解する方法を示す。 本稿では,ネットワークの学習を因子的に行うアルゴリズムを提案し,性能上の優位性を提供する。
  論文  参考訳（メタデータ） (2020-11-23T19:20:03Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。