論文の概要: Robust Online Learning over Networks

• arxiv url: http://arxiv.org/abs/2309.00520v2
• Date: Fri, 17 May 2024 11:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 20:43:15.513193
• Title: Robust Online Learning over Networks
• Title（参考訳）: ネットワーク上のロバストオンライン学習
• Authors: Nicola Bastianello, Diego Deplano, Mauro Franceschelli, Karl H. Johansson,
• Abstract要約: この作業は、分散学習に固有のいくつかの一般的な課題を特に対象とする。 マルチプライヤの交互方向法(ADMM)の分散演算子理論(DOT)版を適用した。 DOT-ADMM演算子が計量部分正則であれば、凸学習問題のクラスに対する線形率に収束する。
• 参考スコア（独自算出の注目度）: 1.0249620437941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent deployment of multi-agent networks has enabled the distributed solution of learning problems, where agents cooperate to train a global model without sharing their local, private data. This work specifically targets some prevalent challenges inherent to distributed learning: (i) online training, i.e., the local data change over time; (ii) asynchronous agent computations; (iii) unreliable and limited communications; and (iv) inexact local computations. To tackle these challenges, we apply the Distributed Operator Theoretical (DOT) version of the Alternating Direction Method of Multipliers (ADMM), which we call "DOT-ADMM". We prove that if the DOT-ADMM operator is metric subregular, then it converges with a linear rate for a large class of (not necessarily strongly) convex learning problems toward a bounded neighborhood of the optimal time-varying solution, and characterize how such neighborhood depends on (i)-(iv). We first derive an easy-to-verify condition for ensuring the metric subregularity of an operator, followed by tutorial examples on linear and logistic regression problems. We corroborate the theoretical analysis with numerical simulations comparing DOT-ADMM with other state-of-the-art algorithms, showing that only the proposed algorithm exhibits robustness to (i)-(iv).
• Abstract（参考訳）: 近年のマルチエージェントネットワークの展開により、エージェントがローカルなプライベートデータを共有せずにグローバルモデルのトレーニングに協力する、学習問題の分散ソリューションが実現された。 この作業は、分散学習に固有のいくつかの一般的な課題を特に対象とする。 (i)オンライントレーニング、すなわち、時間とともにローカルデータが変化すること。 (ii)非同期エージェント計算 三 信頼できない、限られた通信 (4)局所計算が不完全である。 これらの課題に対処するために、我々は、分散演算子理論(DOT)のADMM(Alternating Direction Method of Multipliers)を応用し、「DOT-ADMM(DOT-ADMM)」と呼ぶ。 DOT-ADMM作用素が計量部分正則であれば、(必ずしも強ではない)凸学習問題を最適時変解の有界近傍へ収束させ、そのような近傍がどのように依存するかを特徴づける。 (i)- (4)。 まず、演算子のメートル法準正則性を保証するための検証し易い条件を導出し、続いて線形回帰問題とロジスティック回帰問題に関するチュートリアル例を示す。 我々は、DOT-ADMMを他の最先端アルゴリズムと比較した数値シミュレーションと理論解析を相関させ、提案アルゴリズムだけが堅牢性を示すことを示す。 (i)- (4)。

関連論文リスト

• Online Parallel Multi-Task Relationship Learning via Alternating Direction Method of Multipliers [37.859185005986056]
  オンラインマルチタスク学習(OMTL)は、複数のタスク間の固有の関係を活用することで、ストリーミングデータ処理を強化する。 本研究では、分散コンピューティング環境に適した最近の最適化である交互方向乗算器法(ADMM)に基づく新しいOMTLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-09T10:20:13Z)
• Unsupervised Domain Adaptation Via Data Pruning [0.0]
  非教師なし領域適応(UDA)の観点から問題を考える。 本稿では,UDAのトレーニング例を取り除き,トレーニング分布を対象データと整合させる手法であるAdaPruneを提案する。 UDAの手法として、AdaPruneは関連する技術より優れており、CoRALなどの他のUDAアルゴリズムと相補的であることを示す。
  論文  参考訳（メタデータ） (2024-09-18T15:48:59Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• DIMAT: Decentralized Iterative Merging-And-Training for Deep Learning Models [21.85879890198875]
  Decentralized Iterative Merging-And-Training (DIMAT) は、新しい分散深層学習アルゴリズムである。 DIMATは, 独立・同一分散(IID)および非IIDデータを用いて, 通信オーバヘッドの低減を図ることにより, より高速かつ高い初期ゲインが得られることを示す。 このDIMATパラダイムは未来の分散学習に新たな機会を与え、疎結合な通信計算で現実世界への適応性を高める。
  論文  参考訳（メタデータ） (2024-04-11T18:34:29Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• GeONet: a neural operator for learning the Wasserstein geodesic [13.468026138183623]
  本稿では、初期分布と終端分布の入力対から2つのエンドポイント分布を接続するワッサーシュタイン測地線への非線形マッピングを学習するメッシュ不変なディープニューラルネットワークであるGeONetを提案する。 シミュレーション例では,GeONet が標準 OT ソルバと同等の精度で,MNIST データセットに比較して,予測段階の計算コストを桁違いに大幅に削減することを示した。
  論文  参考訳（メタデータ） (2022-09-28T21:55:40Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Efficient Construction of Nonlinear Models over Normalized Data [21.531781003420573]
  混合モデルを構築するためにバイナリ結合とマルチウェイ結合の両方を系統的に分解する方法を示す。 本稿では,ネットワークの学習を因子的に行うアルゴリズムを提案し,性能上の優位性を提供する。
  論文  参考訳（メタデータ） (2020-11-23T19:20:03Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。