論文の概要: COKE: Communication-Censored Decentralized Kernel Learning
- arxiv url: http://arxiv.org/abs/2001.10133v2
- Date: Wed, 30 Jun 2021 00:52:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 02:05:28.945282
- Title: COKE: Communication-Censored Decentralized Kernel Learning
- Title(参考訳): COKE:コミュニケーションによる分散カーネル学習
- Authors: Ping Xu, Yue Wang, Xiang Chen, Zhi Tian
- Abstract要約: 複数の相互接続エージェントは、大域的目的関数を最小化することにより、再生カーネルヒルベルト空間上で定義された最適決定関数を学習することを目的としている。
非パラメトリックなアプローチとして、カーネルの反復学習は分散実装において大きな課題に直面します。
我々は,DKLAの通信負荷を低減し,ローカル更新が情報的でない場合を除き,エージェントがすべての一般化で送信することを防止し,通信検閲カーネル学習(COKE)アルゴリズムを開発した。
- 参考スコア(独自算出の注目度): 30.795725108364724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the decentralized optimization and learning problem where
multiple interconnected agents aim to learn an optimal decision function
defined over a reproducing kernel Hilbert space by jointly minimizing a global
objective function, with access to their own locally observed dataset. As a
non-parametric approach, kernel learning faces a major challenge in distributed
implementation: the decision variables of local objective functions are
data-dependent and thus cannot be optimized under the decentralized consensus
framework without any raw data exchange among agents. To circumvent this major
challenge, we leverage the random feature (RF) approximation approach to enable
consensus on the function modeled in the RF space by data-independent
parameters across different agents. We then design an iterative algorithm,
termed DKLA, for fast-convergent implementation via ADMM. Based on DKLA, we
further develop a communication-censored kernel learning (COKE) algorithm that
reduces the communication load of DKLA by preventing an agent from transmitting
at every iteration unless its local updates are deemed informative. Theoretical
results in terms of linear convergence guarantee and generalization performance
analysis of DKLA and COKE are provided. Comprehensive tests on both synthetic
and real datasets are conducted to verify the communication efficiency and
learning effectiveness of COKE.
- Abstract(参考訳): 本稿では,複数の相互接続されたエージェントが,グローバルな目的関数を最小限にすることで,カーネルヒルベルト空間上で定義された最適な決定関数を学習することを目的とした分散最適化と学習問題について考察する。
非パラメトリックなアプローチとして、カーネル学習は分散実装において大きな課題に直面している。ローカル目的関数の決定変数はデータに依存し、エージェント間の生のデータ交換なしに分散コンセンサスフレームワークの下では最適化できない。
この大きな課題を回避するために、異なるエージェントにまたがるデータ独立パラメータによるRF空間でモデル化された関数のコンセンサスを可能にするために、ランダム特徴(RF)近似アプローチを利用する。
次に、ADMMによる高速収束実装のための反復アルゴリズムDKLAを設計する。
DKLAに基づいて,ローカル更新が情報的でない場合を除き,エージェントが各イテレーションで送信することを防止し,DKLAの通信負荷を低減する通信検閲カーネル学習(COKE)アルゴリズムをさらに開発する。
DKLAとCOKEの線形収束保証と一般化性能解析に関する理論的結果を提供する。
コークスの通信効率と学習効果を検証するため,合成データと実データの両方に関する総合的なテストを行った。
関連論文リスト
- Adaptive Distributed Kernel Ridge Regression: A Feasible Distributed
Learning Scheme for Data Silos [26.09858625109044]
本稿では,適応分散カーネルリッジ回帰(AdaDKRR)の開発に焦点をあてる。
パラメータ選択における自律性、非機密情報通信におけるプライバシ、パフォーマンス改善におけるコラボレーションの必要性を考慮に入れます。
数値解析により,AdaDKRRが既存の分散学習方式よりも優れていることを示すために,玩具シミュレーションと実世界の2つの応用の両方でAdaDKRRを検証した。
論文 参考訳(メタデータ) (2023-09-08T09:54:36Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - CoDeC: Communication-Efficient Decentralized Continual Learning [6.663641564969944]
エッジでのトレーニングは、異なる場所で生成された継続的な進化データを活用する。
プライバシーに関する懸念は、空間的にも時間的に分散したデータにおいても、このコロケーションを禁止している。
通信効率の高い分散型連続学習アルゴリズムであるCoDeCを提案する。
論文 参考訳(メタデータ) (2023-03-27T16:52:17Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳(メタデータ) (2023-02-19T17:42:35Z) - QC-ODKLA: Quantized and Communication-Censored Online Decentralized
Kernel Learning via Linearized ADMM [30.795725108364724]
本稿では,分散ネットワーク上でのオンラインカーネル学習に焦点を当てる。
線形化ADMMを用いたオンライン分散カーネル学習という新しい学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-08-04T17:16:27Z) - FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。
我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-05-02T07:54:07Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-12T15:12:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。
本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。
既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
論文 参考訳(メタデータ) (2021-03-02T21:58:12Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2021-02-09T11:27:14Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。