論文の概要: Distributed Online Learning with Multiple Kernels

• arxiv url: http://arxiv.org/abs/2102.12733v2
• Date: Fri, 26 Feb 2021 07:06:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-01 12:53:37.422985
• Title: Distributed Online Learning with Multiple Kernels
• Title（参考訳）: 複数のカーネルによる分散オンライン学習
• Authors: Jeongmin Chae and Songnam Hong
• Abstract要約: 我々は、学習者のネットワーク上の非線形関数を完全に分散的に学習する問題を検討する。 オンライン学習は、すべての学習者がローカルで連続的なストリーミングデータを受け取ると仮定されます。 本稿では,複数のカーネルを持つ新しい学習フレームワーク DOMKL を提案する。
• 参考スコア（独自算出の注目度）: 15.102346715690755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of learning a nonlinear function over a network of learners in a fully decentralized fashion. Online learning is additionally assumed, where every learner receives continuous streaming data locally. This learning model is called a fully distributed online learning (or a fully decentralized online federated learning). For this model, we propose a novel learning framework with multiple kernels, which is named DOMKL. The proposed DOMKL is devised by harnessing the principles of an online alternating direction method of multipliers and a distributed Hedge algorithm. We theoretically prove that DOMKL over T time slots can achieve an optimal sublinear regret, implying that every learner in the network can learn a common function which has a diminishing gap from the best function in hindsight. Our analysis also reveals that DOMKL yields the same asymptotic performance of the state-of-the-art centralized approach while keeping local data at edge learners. Via numerical tests with real datasets, we demonstrate the effectiveness of the proposed DOMKL on various online regression and time-series prediction tasks.
• Abstract（参考訳）: 我々は、学習者のネットワーク上の非線形関数を完全に分散的に学習する問題を検討する。 オンライン学習は、すべての学習者がローカルで連続的なストリーミングデータを受け取ると仮定されます。 この学習モデルは、完全に分散したオンライン学習(または完全に分散したオンライン連合学習)と呼ばれる。 本モデルでは,複数のカーネルを持つ新しい学習フレームワークを提案し,DOMKLと命名した。 提案するdomklは,乗算器のオンライン交互方向法と分散ヘッジアルゴリズムの原理を応用して考案された。 T 時間スロット上の DOMKL が最適のサブリニア後悔を達成できることを理論的に証明し、ネットワーク内のすべての学習者が、後視における最高の関数とギャップが減少する共通関数を学習できることを暗示する。 分析の結果、domklは最先端の集中型アプローチと同じ漸近的なパフォーマンスを生み出しながら、ローカルデータをエッジ学習者に保持していることが明らかとなった。 実データを用いた数値実験により,オンライン回帰および時系列予測タスクにおける提案のdomklの有効性を実証する。

関連論文リスト

• Random Representations Outperform Online Continually Learned Representations [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 我々の手法はRanDumbと呼ばれ、あらゆるオンライン連続学習ベンチマークにおいて、最先端の学習表現を著しく上回っている。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• Locally Differentially Private Gradient Tracking for Distributed Online Learning over Directed Graphs [2.1271873498506038]
  本稿では,局所的に個人差分な勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。 提案アルゴリズムは,厳密な局所差分プライバシーを確保しつつ,平均二乗を最適解に収束させることを証明した。
  論文  参考訳（メタデータ） (2023-10-24T18:15:25Z)
• Continual Learning with Deep Streaming Regularized Discriminant Analysis [0.0]
  本稿では,この課題に対する解決法として,正規化判別分析のストリーミング版を提案する。 アルゴリズムを畳み込みニューラルネットワークと組み合わせて、バッチ学習と既存のストリーミング学習アルゴリズムよりも優れていることを実証します。
  論文  参考訳（メタデータ） (2023-09-15T12:25:42Z)
• Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
  私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。 本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。 提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
  論文  参考訳（メタデータ） (2023-07-13T08:36:15Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• QC-ODKLA: Quantized and Communication-Censored Online Decentralized Kernel Learning via Linearized ADMM [30.795725108364724]
  本稿では,分散ネットワーク上でのオンラインカーネル学習に焦点を当てる。 線形化ADMMを用いたオンライン分散カーネル学習という新しい学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-04T17:16:27Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Wide and Deep Graph Neural Network with Distributed Online Learning [174.8221510182559]
  グラフニューラルネットワーク(GNN)は、ネットワークデータから表現を学習するための、自然に分散したアーキテクチャである。 オンライン学習は、この問題を克服するためにテスト時にGNNを再トレーニングするために利用することができる。 本稿では,分散オンライン学習機構で更新可能な新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を開発する。
  論文  参考訳（メタデータ） (2021-07-19T23:56:48Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Distributed Online Learning with Multiple Kernels [10.203602318836444]
  マルチカーネル(DOMKL)を用いたプライバシ保護型分散オンライン学習フレームワークを提案する。 理論的には、T時間スロット上でのDOMKLは最適なサブ線形後悔を実現することができる。 提案するDOMKLの回帰および時系列予測タスクにおける有効性を検証する。
  論文  参考訳（メタデータ） (2020-11-17T20:29:00Z)
• Wide and Deep Graph Neural Networks with Distributed Online Learning [175.96910854433574]
  グラフニューラルネットワーク(GNN)は、自然に分散したアーキテクチャでネットワークデータから表現を学習する。 オンライン学習は、テスト時にGNNを再トレーニングするために使用することができ、この問題を克服することができる。 本稿では,分散オンライン学習機構で容易に更新できる新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T12:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。