論文の概要: Communication-efficient k-Means for Edge-based Machine Learning
- arxiv url: http://arxiv.org/abs/2102.04282v1
- Date: Mon, 8 Feb 2021 15:40:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-09 15:33:38.768768
- Title: Communication-efficient k-Means for Edge-based Machine Learning
- Title（参考訳）: エッジベース機械学習のための通信効率の良いk-Means
- Authors: Hanlin Lu, Ting He, Shiqiang Wang, Changchang Liu, Mehrdad Mahdavi,
Vijaykrishnan Narayanan, Kevin S. Chan, Stephen Pasteris
- Abstract要約: 我々は、エッジベース機械学習の文脈において、k-meansの中心となる大規模な高次元データセットの計算問題を考察する。
連帯次元減少 (DR) と濃度減少 (CR) によって生じる小さな要約をデータソースに送らせることを提案する。
ほぼ直線的な複雑さと、一定あるいは対数的な通信コストで近似をほぼ最適に実現できることを示す。
- 参考スコア（独自算出の注目度）: 30.458580329430568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of computing the k-means centers for a large
high-dimensional dataset in the context of edge-based machine learning, where
data sources offload machine learning computation to nearby edge servers.
k-Means computation is fundamental to many data analytics, and the capability
of computing provably accurate k-means centers by leveraging the computation
power of the edge servers, at a low communication and computation cost to the
data sources, will greatly improve the performance of these analytics. We
propose to let the data sources send small summaries, generated by joint
dimensionality reduction (DR) and cardinality reduction (CR), to support
approximate k-means computation at reduced complexity and communication cost.
By analyzing the complexity, the communication cost, and the approximation
error of k-means algorithms based on state-of-the-art DR/CR methods, we show
that: (i) it is possible to achieve a near-optimal approximation at a
near-linear complexity and a constant or logarithmic communication cost, (ii)
the order of applying DR and CR significantly affects the complexity and the
communication cost, and (iii) combining DR/CR methods with a properly
configured quantizer can further reduce the communication cost without
compromising the other performance metrics. Our findings are validated through
experiments based on real datasets.
- Abstract（参考訳）: エッジベースの機械学習では,k-means センタの計算が問題となり,データソースが近くのエッジサーバに機械学習計算をオフロードする。
k-Meansの計算は多くのデータ分析に基本的であり、エッジサーバの計算能力をデータソースへの低通信と計算コストで活用することにより、実証可能な正確なk-meansセンタの計算能力は、これらの分析のパフォーマンスを大幅に向上させます。
そこで本稿では,データソースが共同次元減少 (DR) と濃度減少 (CR) によって生成される小さなサマリーを,複雑さの低減と通信コストの低減による近似k平均計算を支援するために送信することを提案する。
By analyzing the complexity, the communication cost, and the approximation error of k-means algorithms based on state-of-the-art DR/CR methods, we show that: (i) it is possible to achieve a near-optimal approximation at a near-linear complexity and a constant or logarithmic communication cost, (ii) the order of applying DR and CR significantly affects the complexity and the communication cost, and (iii) combining DR/CR methods with a properly configured quantizer can further reduce the communication cost without compromising the other performance metrics.
結果は実データに基づく実験によって検証される。
関連論文リスト
- Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification [50.406127962933915]
ACOWAは、小さなランタイムの増加とともに、顕著に優れた近似品質を達成するための追加の通信を可能にする。
その結果、ACOWAは経験的リスク最小化に忠実で、他の分散アルゴリズムよりもかなり高い精度で解が得られることがわかった。
論文 参考訳（メタデータ） (2024-06-03T19:43:06Z) - Learning-Augmented K-Means Clustering Using Dimensional Reduction [1.7243216387069678]
主成分分析(PCA)を用いたデータセットの次元性低減手法を提案する。
PCAは文献でよく確立されており、データモデリング、圧縮、可視化の最も有用なツールの1つになっている。
論文 参考訳（メタデータ） (2024-01-06T12:02:33Z) - CORE: Common Random Reconstruction for Distributed Optimization with
Provable Low Communication Complexity [110.50364486645852]
コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。
本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
論文 参考訳（メタデータ） (2023-09-23T08:45:27Z) - Serverless Federated AUPRC Optimization for Multi-Party Collaborative
Imbalanced Data Mining [119.89373423433804]
有効指標としてAUPRC(Area Under Precision-Recall)を導入した。
サーバーレスのマルチパーティ共同トレーニングは、サーバーノードのボトルネックを避けることで通信コストを削減できる。
本稿では,AUPRCを直接最適化する ServerLess biAsed sTochastic gradiEnt (SLATE) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-06T06:51:32Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Fundamental Limits of Communication Efficiency for Model Aggregation in
Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。
SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文 参考訳（メタデータ） (2022-06-28T13:10:40Z) - Communication-Efficient Distributionally Robust Decentralized Learning [23.612400109629544]
分散学習アルゴリズムは、相互接続されたエッジデバイスにデータと計算資源を共有する権限を与える。
そこで本研究では,単一分散ループ降下/上昇アルゴリズム(ADGDA)を提案し,その基礎となるミニマックス最適化問題を解く。
論文 参考訳（メタデータ） (2022-05-31T09:00:37Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - Communication-Efficient Federated Linear and Deep Generalized Canonical
Correlation Analysis [13.04301271535511]
本研究は, 線形GCCAと深層GCCAの双方を対象とした, コミュニケーション効率のよいフェデレーション学習フレームワークを提案する。
実験により,提案アルゴリズムは精度と収束速度をほぼ損なうことなく,通信オーバーヘッドを大幅に低減できることを示した。
論文 参考訳（メタデータ） (2021-09-25T16:43:10Z) - Learning Centric Power Allocation for Edge Intelligence [84.16832516799289]
分散データを収集し、エッジで機械学習を実行するエッジインテリジェンスが提案されている。
本稿では,経験的分類誤差モデルに基づいて無線リソースを割り当てるLCPA法を提案する。
実験の結果,提案したLCPAアルゴリズムは,他のパワーアロケーションアルゴリズムよりも有意に優れていた。
論文 参考訳（メタデータ） (2020-07-21T07:02:07Z) - Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
通信効率のよい分散最適化の問題を考える。
特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。
実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
論文 参考訳（メタデータ） (2020-03-10T13:22:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。