論文の概要: DeEPCA: Decentralized Exact PCA with Linear Convergence Rate
- arxiv url: http://arxiv.org/abs/2102.03990v1
- Date: Mon, 8 Feb 2021 03:53:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 00:35:31.176768
- Title: DeEPCA: Decentralized Exact PCA with Linear Convergence Rate
- Title（参考訳）: DeEPCA: 線形収束率を持つ分散排他的PCA
- Authors: Haishan Ye, Tong Zhang
- Abstract要約: textttDe EPCAは、ターゲット精度に依存しない各パワーに対する通信ラウンド数を持つ最初の分散PCAアルゴリズムである。
既存のアルゴリズムと比較して,提案手法は実際のチューニングが容易であり,全体の通信コストが向上する。
- 参考スコア（独自算出の注目度）: 26.819982387028595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the rapid growth of smart agents such as weakly connected
computational nodes and sensors, developing decentralized algorithms that can
perform computations on local agents becomes a major research direction. This
paper considers the problem of decentralized Principal components analysis
(PCA), which is a statistical method widely used for data analysis. We
introduce a technique called subspace tracking to reduce the communication
cost, and apply it to power iterations. This leads to a decentralized PCA
algorithm called \texttt{DeEPCA}, which has a convergence rate similar to that
of the centralized PCA, while achieving the best communication complexity among
existing decentralized PCA algorithms. \texttt{DeEPCA} is the first
decentralized PCA algorithm with the number of communication rounds for each
power iteration independent of target precision. Compared to existing
algorithms, the proposed method is easier to tune in practice, with an improved
overall communication cost. Our experiments validate the advantages of
\texttt{DeEPCA} empirically.
- Abstract（参考訳）: 弱い接続された計算ノードやセンサなどのスマートエージェントの急速な成長により、ローカルエージェント上で計算を行う分散アルゴリズムの開発が大きな研究方向となっている。
本稿では,データ分析に広く用いられている統計手法である分散主成分分析(PCA)の問題点について考察する。
通信コストを削減するためのサブスペーストラッキングと呼ばれる手法を導入し、パワーイテレーションに適用します。
これは、分散PCAアルゴリズムである \texttt{DeEPCA} につながり、このアルゴリズムは集中PCAと同様の収束速度を持ち、既存の分散PCAアルゴリズムの中で最高の通信複雑性を達成している。
texttt{DeEPCA} は最初の分散PCAアルゴリズムであり、目標精度とは無関係に、各電源イテレーションの通信ラウンド数である。
既存のアルゴリズムと比較して,提案手法は実際のチューニングが容易であり,全体の通信コストが向上する。
我々の実験は経験的に \texttt{deepca} の利点を検証する。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Accelerating Wireless Federated Learning via Nesterov's Momentum and
Distributed Principle Component Analysis [59.127630388320036]
サーバと作業員が無線チャネルを介して未コーディング情報を交換できるようにすることにより、無線連合学習システムについて検討する。
ワーカは、帯域幅に制限のあるチャネルを介して、しばしばサーバにローカルにアップロードするため、ワーカからサーバへのアップリンク送信は、通信ボトルネックとなる。
ワンショット分散原理成分分析(PCA)を利用して通信ボトルネックの次元を縮小する。
論文 参考訳（メタデータ） (2023-03-31T08:41:42Z) - An online algorithm for contrastive Principal Component Analysis [9.090031210111919]
我々は、cPCA*のオンラインアルゴリズムを導き、局所的な学習規則でニューラルネットワークにマップできることを示し、エネルギー効率の良いニューロモルフィックハードウェアで実装できる可能性がある。
実際のデータセット上でのオンラインアルゴリズムの性能を評価し、元の定式化との相違点と類似点を強調した。
論文 参考訳（メタデータ） (2022-11-14T19:48:48Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - Sample and Communication-Efficient Decentralized Actor-Critic Algorithms
with Finite-Time Analysis [27.21581944906418]
Actor-critic (AC)アルゴリズムは分散マルチエージェントシステムで広く採用されている。
我々は、プライベートでサンプルと通信効率のよい2つの分散ACと自然交流(NAC)アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-09-08T15:02:21Z) - FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component
Analysis [12.91948651812873]
主成分分析(PCA)は、機械学習の世界における基本的なデータ前処理ツールである。
本稿では,FAST-PCA (Fast and exact distributed PCA) と呼ばれる分散PCAアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-08-27T16:10:59Z) - Turning Channel Noise into an Accelerator for Over-the-Air Principal
Component Analysis [65.31074639627226]
主成分分析(PCA)は、データセットの線形構造を抽出するための技術です。
勾配降下アルゴリズムに基づくマルチアクセスチャネル上にPCAを配置する手法を提案する。
オーバー・ザ・エア・アグリゲーションはマルチ・アクセスの遅延を減らすために採用され、オーバー・ザ・エア・PCAという名称を与える。
論文 参考訳（メタデータ） (2021-04-20T16:28:33Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - Decentralized Deep Learning using Momentum-Accelerated Consensus [15.333413663982874]
複数のエージェントが協調して分散データセットから学習する分散ディープラーニングの問題を考える。
本稿では,エージェントが固定された通信トポロジ上で対話する分散ディープラーニングアルゴリズムを提案し,解析する。
本アルゴリズムは,勾配に基づくプロトコルで用いられるヘビーボール加速度法に基づく。
論文 参考訳（メタデータ） (2020-10-21T17:39:52Z) - Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。
モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。
本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-23T18:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。