論文の概要: COKE: Communication-Censored Decentralized Kernel Learning

• arxiv url: http://arxiv.org/abs/2001.10133v2
• Date: Wed, 30 Jun 2021 00:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 02:05:28.945282
• Title: COKE: Communication-Censored Decentralized Kernel Learning
• Title（参考訳）: COKE:コミュニケーションによる分散カーネル学習
• Authors: Ping Xu, Yue Wang, Xiang Chen, Zhi Tian
• Abstract要約: 複数の相互接続エージェントは、大域的目的関数を最小化することにより、再生カーネルヒルベルト空間上で定義された最適決定関数を学習することを目的としている。 非パラメトリックなアプローチとして、カーネルの反復学習は分散実装において大きな課題に直面します。 我々は,DKLAの通信負荷を低減し,ローカル更新が情報的でない場合を除き,エージェントがすべての一般化で送信することを防止し,通信検閲カーネル学習(COKE)アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 30.795725108364724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the decentralized optimization and learning problem where multiple interconnected agents aim to learn an optimal decision function defined over a reproducing kernel Hilbert space by jointly minimizing a global objective function, with access to their own locally observed dataset. As a non-parametric approach, kernel learning faces a major challenge in distributed implementation: the decision variables of local objective functions are data-dependent and thus cannot be optimized under the decentralized consensus framework without any raw data exchange among agents. To circumvent this major challenge, we leverage the random feature (RF) approximation approach to enable consensus on the function modeled in the RF space by data-independent parameters across different agents. We then design an iterative algorithm, termed DKLA, for fast-convergent implementation via ADMM. Based on DKLA, we further develop a communication-censored kernel learning (COKE) algorithm that reduces the communication load of DKLA by preventing an agent from transmitting at every iteration unless its local updates are deemed informative. Theoretical results in terms of linear convergence guarantee and generalization performance analysis of DKLA and COKE are provided. Comprehensive tests on both synthetic and real datasets are conducted to verify the communication efficiency and learning effectiveness of COKE.
• Abstract（参考訳）: 本稿では,複数の相互接続されたエージェントが,グローバルな目的関数を最小限にすることで,カーネルヒルベルト空間上で定義された最適な決定関数を学習することを目的とした分散最適化と学習問題について考察する。 非パラメトリックなアプローチとして、カーネル学習は分散実装において大きな課題に直面している。ローカル目的関数の決定変数はデータに依存し、エージェント間の生のデータ交換なしに分散コンセンサスフレームワークの下では最適化できない。 この大きな課題を回避するために、異なるエージェントにまたがるデータ独立パラメータによるRF空間でモデル化された関数のコンセンサスを可能にするために、ランダム特徴(RF)近似アプローチを利用する。 次に、ADMMによる高速収束実装のための反復アルゴリズムDKLAを設計する。 DKLAに基づいて,ローカル更新が情報的でない場合を除き,エージェントが各イテレーションで送信することを防止し,DKLAの通信負荷を低減する通信検閲カーネル学習(COKE)アルゴリズムをさらに開発する。 DKLAとCOKEの線形収束保証と一般化性能解析に関する理論的結果を提供する。 コークスの通信効率と学習効果を検証するため,合成データと実データの両方に関する総合的なテストを行った。

関連論文リスト

• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• CoDeC: Communication-Efficient Decentralized Continual Learning [6.663641564969944]
  エッジでのトレーニングは、異なる場所で生成された継続的な進化データを活用する。 プライバシーに関する懸念は、空間的にも時間的に分散したデータにおいても、このコロケーションを禁止している。 通信効率の高い分散型連続学習アルゴリズムであるCoDeCを提案する。
  論文  参考訳（メタデータ） (2023-03-27T16:52:17Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• QC-ODKLA: Quantized and Communication-Censored Online Decentralized Kernel Learning via Linearized ADMM [30.795725108364724]
  本稿では,分散ネットワーク上でのオンラインカーネル学習に焦点を当てる。 線形化ADMMを用いたオンライン分散カーネル学習という新しい学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-04T17:16:27Z)
• FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
  分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。 我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-02T07:54:07Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
  分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。 本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。 既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T21:58:12Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。