論文の概要: Discretized Distributed Optimization over Dynamic Digraphs
- arxiv url: http://arxiv.org/abs/2311.07939v2
- Date: Tue, 26 Mar 2024 11:54:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 00:31:37.653795
- Title: Discretized Distributed Optimization over Dynamic Digraphs
- Title（参考訳）: 動的グラフを用いた離散分散最適化
- Authors: Mohammadreza Doostmohammadian, Wei Jiang, Muwahida Liaquat, Alireza Aghasi, Houman Zarrabi,
- Abstract要約: 動的有向グラフ上での連続時間分散最適化の離散時間モデルを考える(図)
我々のアルゴリズムは、スイッチングトポロジの下で、一般に接続された動的ネットワーク上で機能する。
提案するフレームワークは,分散分類と学習に適用できる。
- 参考スコア（独自算出の注目度）: 6.239775988430136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider a discrete-time model of continuous-time distributed optimization over dynamic directed-graphs (digraphs) with applications to distributed learning. Our optimization algorithm works over general strongly connected dynamic networks under switching topologies, e.g., in mobile multi-agent systems and volatile networks due to link failures. Compared to many existing lines of work, there is no need for bi-stochastic weight designs on the links. The existing literature mostly needs the link weights to be stochastic using specific weight-design algorithms needed both at the initialization and at all times when the topology of the network changes. This paper eliminates the need for such algorithms and paves the way for distributed optimization over time-varying digraphs. We derive the bound on the gradient-tracking step-size and discrete time-step for convergence and prove dynamic stability using arguments from consensus algorithms, matrix perturbation theory, and Lyapunov theory. This work, particularly, is an improvement over existing stochastic-weight undirected networks in case of link removal or packet drops. This is because the existing literature may need to rerun time-consuming and computationally complex algorithms for stochastic design, while the proposed strategy works as long as the underlying network is weight-symmetric and balanced. The proposed optimization framework finds applications to distributed classification and learning.
- Abstract（参考訳）: 動的有向グラフ(グラフ)上での連続時間分散最適化の離散時間モデルと分散学習への応用について考察する。
我々の最適化アルゴリズムは, 移動体マルチエージェントシステムや, リンク障害による揮発性ネットワークにおいて, スイッチングトポロジの下で, 一般に接続された動的ネットワークで動作する。
既存の多くの作業行と比較して、リンク上の双確率重み設計は不要である。
既存の文献では、初期化とネットワークのトポロジが変化するときに必要な特定の重み付けアルゴリズムを用いて、リンクウェイトを確率的に求めることがほとんどである。
本稿では、このようなアルゴリズムの必要性を排除し、時間変化ダイグラフによる分散最適化の道を開く。
我々は、収束のための勾配追跡ステップサイズと離散時間ステップのバウンドを導出し、コンセンサスアルゴリズム、行列摂動理論、リャプノフ理論の引数を用いて動的安定性を証明する。
この作業は、特にリンク削除やパケットドロップの場合、既存の確率重みのないネットワークよりも改善されている。
これは、既存の文献が確率的設計のために時間を要する複雑なアルゴリズムを再実行する必要があるのに対して、提案された戦略は、基礎となるネットワークが重み対称でバランスが取れている限り機能するからである。
提案する最適化フレームワークは,分散分類と学習への応用を見出す。
関連論文リスト
- Logarithmically Quantized Distributed Optimization over Dynamic Multi-Agent Networks [0.951494089949975]
対数量子化データ伝送を受けるマルチエージェントネットワーク上での分散最適化ダイナミクスを提案する。
均一な量子化と比較すると、ほぼ最適値を表す精度が高く、分散最適化アルゴリズムの精度も高い。
論文 参考訳（メタデータ） (2024-10-27T06:01:01Z) - A Closed-form Solution for Weight Optimization in Fully-connected Feed-forward Neural Networks [2.1301560294088318]
本研究は、完全連結フィードフォワードニューラルネットワークにおける重み付け最適化問題に対処する。
提案手法は最小二乗法 (LS) を用いて閉形式における重み最適化の解を提供する。
シミュレーションおよび実験結果から,提案手法であるBPLSは,既存の手法と精度で競合するが,実行時間ではかなり上回っていることがわかった。
論文 参考訳（メタデータ） (2024-01-12T17:03:55Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Deep learning via message passing algorithms based on belief propagation [2.931240348160871]
本稿では,局所的なエントロピー分布に偏りを持つ強化場を有するBPベースのメッセージパッシングアルゴリズムのファミリについて述べる。
これらのアルゴリズムは、SGDにインスパイアされたソリューションに匹敵するパフォーマンスで、離散重みとアクティベーションを持つ多層ニューラルネットワークをトレーニングすることができる。
論文 参考訳（メタデータ） (2021-10-27T16:52:26Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳（メタデータ） (2021-03-05T04:42:32Z) - Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。
また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
論文 参考訳（メタデータ） (2020-09-05T21:44:39Z) - Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。
本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-05T02:25:23Z) - Hyperspectral Unmixing Network Inspired by Unfolding an Optimization
Problem [2.4016406737205753]
ハイパースペクトル画像(HSI)アンミックスタスクは本質的に逆問題であり、最適化アルゴリズムによってよく解決される。
本稿では,U-ADMM-AENetとU-ADMM-BUNetという2つの新しいネットワークアーキテクチャを提案する。
本研究は,機械学習の文献において,展開された構造が対応する解釈を見つけることを示し,提案手法の有効性をさらに示すものである。
論文 参考訳（メタデータ） (2020-05-21T18:49:45Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。