論文の概要: Distributed Optimization, Averaging via ADMM, and Network Topology
- arxiv url: http://arxiv.org/abs/2009.02604v1
- Date: Sat, 5 Sep 2020 21:44:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 20:53:06.278191
- Title: Distributed Optimization, Averaging via ADMM, and Network Topology
- Title（参考訳）: ADMMによる分散最適化と平均化,ネットワークトポロジ
- Authors: Guilherme Fran\c{c}a, Jos\'e Bento
- Abstract要約: センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。
また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been an increasing necessity for scalable optimization methods,
especially due to the explosion in the size of datasets and model complexity in
modern machine learning applications. Scalable solvers often distribute the
computation over a network of processing units. For simple algorithms such as
gradient descent the dependency of the convergence time with the topology of
this network is well-known. However, for more involved algorithms such as the
Alternating Direction Methods of Multipliers (ADMM) much less is known. At the
heart of many distributed optimization algorithms there exists a gossip
subroutine which averages local information over the network, and whose
efficiency is crucial for the overall performance of the method. In this paper
we review recent research in this area and, with the goal of isolating such a
communication exchange behaviour, we compare different algorithms when applied
to a canonical distributed averaging consensus problem. We also show
interesting connections between ADMM and lifted Markov chains besides providing
an explicitly characterization of its convergence and optimal parameter tuning
in terms of spectral properties of the network. Finally, we empirically study
the connection between network topology and convergence rates for different
algorithms on a real world problem of sensor localization.
- Abstract（参考訳）: 現代の機械学習アプリケーションでは、データセットのサイズとモデルの複雑さが爆発的に増加したため、スケーラブルな最適化手法の必要性が高まっている。
スケーラブルな解法はしばしば処理ユニットのネットワークに分散する。
勾配降下のような単純なアルゴリズムでは、このネットワークのトポロジーとの収束時間の依存性がよく知られている。
しかし、Alternating Direction Methods of Multipliers (ADMM)のようなより関連するアルゴリズムについては、あまり知られていない。
多くの分散最適化アルゴリズムの中心には、ネットワーク上の局所情報を平均し、その効率性がアルゴリズム全体のパフォーマンスに不可欠であるゴシップサブルーチンが存在する。
本稿では,この領域における最近の研究を概観し,このようなコミュニケーション交換行動の分離を目的として,正規分散平均コンセンサス問題に適用した場合に異なるアルゴリズムを比較する。
また,ADMMと持ち上げマルコフ連鎖間の興味深い関係を示すとともに,ネットワークのスペクトル特性の観点から,その収束と最適パラメータチューニングを明示的に評価する。
最後に,センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係を実証的に検討する。
関連論文リスト
- An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - A Sparse Structure Learning Algorithm for Bayesian Network
Identification from Discrete High-Dimensional Data [0.40611352512781856]
本稿では,高次元離散データから疎構造ベイズネットワークを学習する問題に対処する。
本稿では,空間特性とDAG特性を同時に満足するスコア関数を提案する。
具体的には,アルゴリズムを高次元データで効率的に動作させるため,最適化アルゴリズムに分散低減法を用いる。
論文 参考訳（メタデータ） (2021-08-21T12:21:01Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳（メタデータ） (2021-08-19T13:19:54Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
通信効率のよい分散最適化の問題を考える。
特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。
実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
論文 参考訳（メタデータ） (2020-03-10T13:22:16Z) - Channel Assignment in Uplink Wireless Communication using Machine
Learning Approach [54.012791474906514]
本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。
我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。
計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
論文 参考訳（メタデータ） (2020-01-12T15:54:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。