論文の概要: A general framework for decentralized optimization with first-order
methods
- arxiv url: http://arxiv.org/abs/2009.05837v1
- Date: Sat, 12 Sep 2020 17:52:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 07:58:07.320771
- Title: A general framework for decentralized optimization with first-order
methods
- Title（参考訳）: 1次手法による分散最適化のための一般的なフレームワーク
- Authors: Ran Xin, Shi Pu, Angelia Nedi\'c, and Usman A. Khan
- Abstract要約: ノードネットワーク上の関数の有限和を最小化する分散最適化は、制御と信号処理の研究において重要な焦点となっている。
高度なコンピューティングと大規模データサイエンスの必要性の出現は、この分野における活動の復活につながった。
本稿では、制御、信号処理、機械学習問題に多大な成功を収めた分散一階勾配法について論じる。
- 参考スコア（独自算出の注目度）: 11.50057411285458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized optimization to minimize a finite sum of functions over a
network of nodes has been a significant focus within control and signal
processing research due to its natural relevance to optimal control and signal
estimation problems. More recently, the emergence of sophisticated computing
and large-scale data science needs have led to a resurgence of activity in this
area. In this article, we discuss decentralized first-order gradient methods,
which have found tremendous success in control, signal processing, and machine
learning problems, where such methods, due to their simplicity, serve as the
first method of choice for many complex inference and training tasks. In
particular, we provide a general framework of decentralized first-order methods
that is applicable to undirected and directed communication networks alike, and
show that much of the existing work on optimization and consensus can be
related explicitly to this framework. We further extend the discussion to
decentralized stochastic first-order methods that rely on stochastic gradients
at each node and describe how local variance reduction schemes, previously
shown to have promise in the centralized settings, are able to improve the
performance of decentralized methods when combined with what is known as
gradient tracking. We motivate and demonstrate the effectiveness of the
corresponding methods in the context of machine learning and signal processing
problems that arise in decentralized environments.
- Abstract（参考訳）: ノードネットワーク上の関数の有限和を最小化する分散最適化は、制御と信号処理の研究において、最適な制御と信号推定の問題に自然に関係しているため重要な焦点となっている。
最近では、高度なコンピューティングと大規模データサイエンスの必要性が出現し、この分野の活動が復活した。
本稿では,制御,信号処理,機械学習問題において大きな成功を収めた分散一階勾配法について論じる。
特に,非指向型および指向型通信ネットワークにも適用可能な分散一階法の一般的なフレームワークを提供し,既存の最適化とコンセンサスに関する作業の多くが,このフレームワークに明示的に関連していることを示す。
さらに,各ノードの確率的勾配に依存する分散確率的一階法への議論を拡張し,局所分散還元スキームが,従来集中型設定において有望であった場合,勾配追跡と呼ばれる手法と組み合わせて分散的手法の性能を向上させる方法について述べる。
分散環境において発生する機械学習と信号処理の問題の文脈において,対応する手法の有効性を動機付け,実証する。
関連論文リスト
- A Penalty-Based Method for Communication-Efficient Decentralized Bilevel Programming [14.35928967799696]
本稿では,分散化ネットワーク上での双方向プログラミング問題の解法として,ペナルティ関数に基づく分散化アルゴリズムを提案する。
提案アルゴリズムの重要な特徴は,ペナルティ関数の過度勾配の推定である。
我々の理論的枠組みは、様々な凸条件下での原問題の最適解に漸近的でない収束を保証する。
論文 参考訳（メタデータ） (2022-11-08T08:39:30Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - On the Convergence of Decentralized Adaptive Gradient Methods [27.15543843721437]
本稿では、新しい収束分散適応勾配法を導入し、適応勾配法を分散訓練手順に厳格に取り入れる。
具体的には,既存の適応勾配法を分散化手法に変換するアルゴリズムフレームワークを提案する。
与えられた適応勾配法が特定の条件下で収束すると、その分散化も収束することを示す。
論文 参考訳（メタデータ） (2021-09-07T16:58:11Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - Decentralized Deep Learning using Momentum-Accelerated Consensus [15.333413663982874]
複数のエージェントが協調して分散データセットから学習する分散ディープラーニングの問題を考える。
本稿では,エージェントが固定された通信トポロジ上で対話する分散ディープラーニングアルゴリズムを提案し,解析する。
本アルゴリズムは,勾配に基づくプロトコルで用いられるヘビーボール加速度法に基づく。
論文 参考訳（メタデータ） (2020-10-21T17:39:52Z) - Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文 参考訳（メタデータ） (2020-08-24T13:23:02Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳（メタデータ） (2020-04-17T14:56:29Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳（メタデータ） (2020-03-31T16:54:22Z) - Decentralized MCTS via Learned Teammate Models [89.24858306636816]
本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。
深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
論文 参考訳（メタデータ） (2020-03-19T13:10:20Z) - Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。
モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。
本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-23T18:25:39Z) - Gradient tracking and variance reduction for decentralized optimization
and machine learning [19.54092620537586]
有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。
分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
論文 参考訳（メタデータ） (2020-02-13T07:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。