論文の概要: Understanding A Class of Decentralized and Federated Optimization Algorithms: A Multi-Rate Feedback Control Perspective

• arxiv url: http://arxiv.org/abs/2204.12663v1
• Date: Wed, 27 Apr 2022 01:53:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 23:01:29.828033
• Title: Understanding A Class of Decentralized and Federated Optimization Algorithms: A Multi-Rate Feedback Control Perspective
• Title（参考訳）: 分散最適化アルゴリズムのクラスを理解する:マルチレートフィードバック制御の観点から
• Authors: Xinwei Zhang, Mingyi Hong, Nicola Elia
• Abstract要約: 分散最適化アルゴリズムを理解し、分析し、設計するための新しい視点を提供する。 本稿では,分散化/分散化方式を含む分散アルゴリズムを,特定の連続時間フィードバック制御系を識別できることを示す。
• 参考スコア（独自算出の注目度）: 41.05789078207364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed algorithms have been playing an increasingly important role in many applications such as machine learning, signal processing, and control. Significant research efforts have been devoted to developing and analyzing new algorithms for various applications. In this work, we provide a fresh perspective to understand, analyze, and design distributed optimization algorithms. Through the lens of multi-rate feedback control, we show that a wide class of distributed algorithms, including popular decentralized/federated schemes, can be viewed as discretizing a certain continuous-time feedback control system, possibly with multiple sampling rates, such as decentralized gradient descent, gradient tracking, and federated averaging. This key observation not only allows us to develop a generic framework to analyze the convergence of the entire algorithm class. More importantly, it also leads to an interesting way of designing new distributed algorithms. We develop the theory behind our framework and provide examples to highlight how the framework can be used in practice.
• Abstract（参考訳）: 分散アルゴリズムは、機械学習、信号処理、制御といった多くのアプリケーションにおいて、ますます重要な役割を担っている。 様々なアプリケーションのための新しいアルゴリズムの開発と分析に多大な研究努力が注がれている。 本研究では,分散最適化アルゴリズムを理解し,解析し,設計するための新たな視点を提供する。 マルチレートフィードバック制御のレンズを通して、一般的な分散/フェデレーションスキームを含む幅広い分散アルゴリズムが、おそらくは分散勾配降下、勾配追跡、フェデレーション平均化といった複数のサンプリングレートで、ある種の連続時間フィードバック制御システムを離散化することができることを示した。 この重要な観察によって、アルゴリズムクラス全体の収束を分析する汎用フレームワークを開発できるだけでなくなります。 さらに重要なのは、新しい分散アルゴリズムを設計する興味深い方法にもつながることだ。 フレームワークの背後にある理論を開発し、そのフレームワークが実際にどのように使われるかを強調する例を示します。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Distributional Bellman Operators over Mean Embeddings [37.5480897544168]
  本研究では,帰還分布の有限次元平均埋め込みを学習し,分布強化学習のための新しい枠組みを提案する。 動的プログラミングと時間差学習のための新しいアルゴリズムをこのフレームワークに基づいて提案する。
  論文  参考訳（メタデータ） (2023-12-09T11:36:14Z)
• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond [114.39616146985001]
  機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
  論文  参考訳（メタデータ） (2021-01-27T16:20:23Z)
• A general framework for decentralized optimization with first-order methods [11.50057411285458]
  ノードネットワーク上の関数の有限和を最小化する分散最適化は、制御と信号処理の研究において重要な焦点となっている。 高度なコンピューティングと大規模データサイエンスの必要性の出現は、この分野における活動の復活につながった。 本稿では、制御、信号処理、機械学習問題に多大な成功を収めた分散一階勾配法について論じる。
  論文  参考訳（メタデータ） (2020-09-12T17:52:10Z)
• Reinforcement Learning as Iterative and Amortised Inference [62.997667081978825]
  我々は、この制御を推論フレームワークとして使用し、償却および反復推論に基づく新しい分類スキームを概説する。 この観点から、比較的探索されていないアルゴリズム設計空間の一部を特定できることを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:10:03Z)
• Unbiased Deep Reinforcement Learning: A General Training Framework for Existing and Future Algorithms [3.7050607140679026]
  本稿では、概念的に理解可能で、強化学習のための全ての実行可能なアルゴリズムに一般化し易い、新しいトレーニングフレームワークを提案する。 我々はモンテカルロサンプリングを用いて生のデータ入力を実現し、マルコフ決定プロセスシーケンスを達成するためにバッチでそれらを訓練する。 我々は、典型的な離散的かつ連続的なシナリオを扱うために、新しいフレームワークに埋め込まれたアルゴリズムをいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-12T01:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。