論文の概要: Theoretical Analysis of Primal-Dual Algorithm for Non-Convex Stochastic Decentralized Optimization

• arxiv url: http://arxiv.org/abs/2205.11979v1
• Date: Mon, 23 May 2022 09:50:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 15:19:33.165186
• Title: Theoretical Analysis of Primal-Dual Algorithm for Non-Convex Stochastic Decentralized Optimization
• Title（参考訳）: 非凸確率分散最適化のための原始双対アルゴリズムの理論解析
• Authors: Yuki Takezawa, Kenta Niwa, Makoto Yamada
• Abstract要約: 分散学習は、大規模な機械学習だけでなく、プライバシの保護にも強力なツールとして登場した。 分散学習における重要な課題の1つは、各ノードが保持するデータ分布が統計的に不均一であることである。
• 参考スコア（独自算出の注目度）: 29.256192419727444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, decentralized learning has emerged as a powerful tool not only for large-scale machine learning, but also for preserving privacy. One of the key challenges in decentralized learning is that the data distribution held by each node is statistically heterogeneous. To address this challenge, the primal-dual algorithm called the Edge-Consensus Learning (ECL) was proposed and was experimentally shown to be robust to the heterogeneity of data distributions. However, the convergence rate of the ECL is provided only when the objective function is convex, and has not been shown in a standard machine learning setting where the objective function is non-convex. Furthermore, the intuitive reason why the ECL is robust to the heterogeneity of data distributions has not been investigated. In this work, we first investigate the relationship between the ECL and Gossip algorithm and show that the update formulas of the ECL can be regarded as correcting the local stochastic gradient in the Gossip algorithm. Then, we propose the Generalized ECL (G-ECL), which contains the ECL as a special case, and provide the convergence rates of the G-ECL in both (strongly) convex and non-convex settings, which do not depend on the heterogeneity of data distributions. Through synthetic experiments, we demonstrate that the numerical results of both the G-ECL and ECL coincide with the convergence rate of the G-ECL.
• Abstract（参考訳）: 近年,大規模機械学習のみならず,プライバシ保護のための強力なツールとして,分散学習が登場している。 分散学習における重要な課題の1つは、各ノードが保持するデータ分布が統計的に異質であることである。 この課題に対処するため、Edge-Consensus Learning (ECL)と呼ばれる原始双対アルゴリズムが提案され、データ分布の不均一性に対して堅牢であることが実験的に示された。 しかし、ESLの収束速度は、目的関数が凸である場合にのみ与えられ、目的関数が凸でない標準的な機械学習環境では示されていない。 さらに、ECLがデータ分布の不均一性に対して頑健であるという直感的な理由も検討されていない。 本研究では,まず,ECL と Gossip アルゴリズムの関係について検討し,その更新公式を Gossip アルゴリズムの局所確率勾配の補正とみなすことができることを示す。 そこで我々は,データ分布の不均一性に依存しない(強い)凸と非凸の両方において,ECLを特別なケースとして含む一般化ECL(G-ECL)を提案し,G-ECLの収束率を示す。 合成実験により, G-ECL と ECL の数値計算結果と G-ECL の収束速度が一致することを示した。

関連論文リスト

• K-Means Clustering With Incomplete Data with the Use of Mahalanobis Distances [0.0]
  我々は従来のユークリッド距離の代わりにマハラノビス距離を組み込む統一K平均アルゴリズムを開発した。 我々のアルゴリズムはスタンドアローンの計算とK平均の両方を一貫して上回ることを示す。 これらの結果は、IRISデータセットと楕円型クラスタでランダムに生成されたデータの両方にわたって保持される。
  論文  参考訳（メタデータ） (2024-10-31T00:05:09Z)
• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data [0.261072980439312]
  非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。 理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
  論文  参考訳（メタデータ） (2023-03-01T02:13:22Z)
• Likelihood Adjusted Semidefinite Programs for Clustering Heterogeneous Data [16.153709556346417]
  クラスタリングは広くデプロイされた学習ツールである。 iLA-SDPはEMよりも感度が低く、高次元データでは安定である。
  論文  参考訳（メタデータ） (2022-09-29T21:03:13Z)
• Communication Compression for Decentralized Learning with Operator Splitting Methods [29.256192419727444]
  分散学習では、原始双対の定式化を用いた演算子分割法が不均一なデータに対して堅牢であることが示されている。 エッジ・コンセンサス・ラーニング(ECL)のための新しい圧縮手法の枠組みを提案する。 具体的には、ECLの更新公式を再構成し、二重変数の更新値を圧縮することを提案する。 実験により,C-ECLはECLよりも少ないパラメータ交換でほぼ同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-08T04:26:47Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Global convergence of Negative Correlation Extreme Learning Machine [0.0]
  本稿では,NCELMのグローバル収束を保証するために十分な条件を数学的に提示する。 各反復におけるアンサンブルの更新は縮約写像関数として定義され、バナッハの定理により、アンサンブルの大域収束が証明される。
  論文  参考訳（メタデータ） (2020-09-30T14:18:10Z)
• Repulsive Mixture Models of Exponential Family PCA for Clustering [127.90219303669006]
  指数関数型家族主成分分析(EPCA)の混合拡張は、従来のEPCAよりもデータ分布に関する構造情報を符号化するように設計された。 従来のEPCAの混合は、モデルの冗長性、すなわち混合成分間の重なりが問題であり、データクラスタリングの曖昧さを引き起こす可能性がある。 本稿では, 混合成分間での反発性増感前処理を導入し, ベイズ式に分散EPCA混合(DEPCAM)モデルを開発した。
  論文  参考訳（メタデータ） (2020-04-07T04:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。