論文の概要: QC-ODKLA: Quantized and Communication-Censored Online Decentralized
Kernel Learning via Linearized ADMM
- arxiv url: http://arxiv.org/abs/2208.02777v1
- Date: Thu, 4 Aug 2022 17:16:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-05 12:51:02.869763
- Title: QC-ODKLA: Quantized and Communication-Censored Online Decentralized
Kernel Learning via Linearized ADMM
- Title（参考訳）: QC-ODKLA:線形ADMMを用いたオンライン分散カーネル学習
- Authors: Ping Xu, Yue Wang, Xiang Chen, Zhi Tian
- Abstract要約: 本稿では,分散ネットワーク上でのオンラインカーネル学習に焦点を当てる。
線形化ADMMを用いたオンライン分散カーネル学習という新しい学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 30.795725108364724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper focuses on online kernel learning over a decentralized network.
Each agent in the network receives continuous streaming data locally and works
collaboratively to learn a nonlinear prediction function that is globally
optimal in the reproducing kernel Hilbert space with respect to the total
instantaneous costs of all agents. In order to circumvent the curse of
dimensionality issue in traditional online kernel learning, we utilize random
feature (RF) mapping to convert the non-parametric kernel learning problem into
a fixed-length parametric one in the RF space. We then propose a novel learning
framework named Online Decentralized Kernel learning via Linearized ADMM
(ODKLA) to efficiently solve the online decentralized kernel learning problem.
To further improve the communication efficiency, we add the quantization and
censoring strategies in the communication stage and develop the Quantized and
Communication-censored ODKLA (QC-ODKLA) algorithm. We theoretically prove that
both ODKLA and QC-ODKLA can achieve the optimal sublinear regret
$\mathcal{O}(\sqrt{T})$ over $T$ time slots. Through numerical experiments, we
evaluate the learning effectiveness, communication, and computation
efficiencies of the proposed methods.
- Abstract（参考訳）: 本稿では,分散ネットワーク上でのオンラインカーネル学習に焦点を当てる。
ネットワーク内の各エージェントは、局所的に連続ストリーミングデータを受信し、すべてのエージェントの全瞬時コストに関して、再生核ヒルベルト空間においてグローバルに最適な非線形予測関数を学習するために協調的に動作する。
従来のオンラインカーネル学習における次元性の呪いを回避するために、非パラメトリックカーネル学習問題をRF空間の固定長パラメトリックに変換するためにランダム特徴(RF)マッピングを用いる。
次に,オンライン分散カーネル学習問題を効率的に解くために,線形化ADMM (ODKLA) を用いたオンライン分散カーネル学習という新しい学習フレームワークを提案する。
通信効率をさらに向上するため,通信段階における量子化および検閲戦略を追加し,QC-ODKLAアルゴリズムを開発した。
理論的には、ODKLA と QC-ODKLA の両方が最適なサブ線形後悔 $\mathcal{O}(\sqrt{T})$ over $T$ time slots を達成することができる。
数値実験により,提案手法の学習効率,コミュニケーション,計算効率を評価する。
関連論文リスト
- DRACO: Decentralized Asynchronous Federated Learning over Continuous Row-Stochastic Network Matrices [7.389425875982468]
DRACOは、行確率ゴシップ無線ネットワーク上での分散非同期Descent(SGD)の新しい手法である。
我々のアプローチは、分散ネットワーク内のエッジデバイスが、連続したタイムラインに沿ってローカルトレーニングとモデル交換を行うことを可能にする。
我々の数値実験は提案手法の有効性を裏付けるものである。
論文 参考訳（メタデータ） (2024-06-19T13:17:28Z) - Robust Decentralized Learning with Local Updates and Gradient Tracking [16.46727164965154]
分散学習をクライアントやノードのネットワークとみなす。
本稿では,局所的な更新と勾配追跡という2つの重要なデータを利用する分散化ミニマックス最適化手法を提案する。
論文 参考訳（メタデータ） (2024-05-02T03:03:34Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - CoDeC: Communication-Efficient Decentralized Continual Learning [6.663641564969944]
エッジでのトレーニングは、異なる場所で生成された継続的な進化データを活用する。
プライバシーに関する懸念は、空間的にも時間的に分散したデータにおいても、このコロケーションを禁止している。
通信効率の高い分散型連続学習アルゴリズムであるCoDeCを提案する。
論文 参考訳（メタデータ） (2023-03-27T16:52:17Z) - Online Attentive Kernel-Based Temporal Difference Learning [13.94346725929798]
オンライン強化学習(RL)はその高速学習能力とデータ効率の向上により注目されている。
オンラインRLは、しばしば複雑な値関数近似(VFA)と破滅的な干渉に悩まされる。
2時間スケール最適化を用いたオンラインカーネルに基づく時間差分法(OAKTD)を提案する。
論文 参考訳（メタデータ） (2022-01-22T14:47:10Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - A Low Complexity Decentralized Neural Net with Centralized Equivalence
using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。
我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。
本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T13:08:12Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳（メタデータ） (2020-03-18T05:56:27Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z) - COKE: Communication-Censored Decentralized Kernel Learning [30.795725108364724]
複数の相互接続エージェントは、大域的目的関数を最小化することにより、再生カーネルヒルベルト空間上で定義された最適決定関数を学習することを目的としている。
非パラメトリックなアプローチとして、カーネルの反復学習は分散実装において大きな課題に直面します。
我々は,DKLAの通信負荷を低減し,ローカル更新が情報的でない場合を除き,エージェントがすべての一般化で送信することを防止し,通信検閲カーネル学習(COKE)アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-01-28T01:05:57Z) - Distributed Learning in the Non-Convex World: From Batch to Streaming
Data, and Beyond [73.03743482037378]
分散学習は、多くの人々が想定する、大規模に接続された世界の重要な方向となっている。
本稿では、スケーラブルな分散処理とリアルタイムデータ計算の4つの重要な要素について論じる。
実践的な問題や今後の研究についても論じる。
論文 参考訳（メタデータ） (2020-01-14T14:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。