論文の概要: Communication Efficient Distributed Learning for Kernelized Contextual Bandits

• arxiv url: http://arxiv.org/abs/2206.04835v1
• Date: Fri, 10 Jun 2022 01:39:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:02:45.779435
• Title: Communication Efficient Distributed Learning for Kernelized Contextual Bandits
• Title（参考訳）: カーネル化コンテキストバンディットのための通信効率の高い分散学習
• Authors: Chuanhao Li, Huazheng Wang, Mengdi Wang, and Hongning Wang
• Abstract要約: 分散環境でのカーネル化されたコンテキスト帯域の学習における通信効率の課題に対処する。 我々は、エージェントが再現されたカーネルヒルベルト空間で協調的に探索できるようにすることにより、非線形報酬写像を考える。 我々は, 後悔とコミュニケーションの両コストにおいて, アルゴリズムがサブ線形レートを達成できることを厳格に証明した。
• 参考スコア（独自算出の注目度）: 58.78878127799718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We tackle the communication efficiency challenge of learning kernelized contextual bandits in a distributed setting. Despite the recent advances in communication-efficient distributed bandit learning, existing solutions are restricted to simple models like multi-armed bandits and linear bandits, which hamper their practical utility. In this paper, instead of assuming the existence of a linear reward mapping from the features to the expected rewards, we consider non-linear reward mappings, by letting agents collaboratively search in a reproducing kernel Hilbert space (RKHS). This introduces significant challenges in communication efficiency as distributed kernel learning requires the transfer of raw data, leading to a communication cost that grows linearly w.r.t. time horizon $T$. We addresses this issue by equipping all agents to communicate via a common Nystr\"{o}m embedding that gets updated adaptively as more data points are collected. We rigorously proved that our algorithm can attain sub-linear rate in both regret and communication cost.
• Abstract（参考訳）: 分散環境でのカーネル化されたコンテキスト帯域の学習における通信効率の課題に取り組む。 通信効率の高い分散バンディット学習の最近の進歩にもかかわらず、既存のソリューションは、実用性を妨げるマルチアーム付きバンディットや線形バンディットのような単純なモデルに限定されている。 本稿では,特徴から期待報酬への線形報酬マッピングの存在を仮定する代わりに,エージェントが再生成核ヒルベルト空間 (rkhs) において協調的に探索できる非線形報酬マッピングを考える。 これは分散カーネル学習が生データの転送を必要とするため、通信効率に重大な課題をもたらし、w.r.t.time horizon $t$が線形に増加する通信コストに繋がる。 我々は、より多くのデータポイントが収集されるにつれて適応的に更新される共通のNystr\"{o}m埋め込みを介して通信するすべてのエージェントを装備することでこの問題に対処する。 我々は, 後悔とコミュニケーションの両コストにおいて, アルゴリズムがサブ線形レートを達成できることを厳格に証明した。

関連論文リスト

• High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
  我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。 実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-08T19:34:39Z)
• Gossiped and Quantized Online Multi-Kernel Learning [39.057968279167966]
  ネットワーク内の各ノードが通信できる限り、分散およびオンラインマルチカーネル学習がサブ線形後悔をもたらすことを示す。 このレターは、これらの結果を非完全連結グラフに拡張するが、これは無線センサーネットワークでよく見られる。 本稿では,ゴシップアルゴリズムを提案し,それがサブ線形後悔を達成できることを示す。
  論文  参考訳（メタデータ） (2023-01-24T07:12:40Z)
• Distributed Linear Bandits under Communication Constraints [14.007471903973391]
  我々は、$M$エージェントがすべてのエージェントによって引き起こされる全体的な累積的後悔を最小限に抑えるために学習する分散線形帯域を考える。 疎線形帯域に対して,提案アルゴリズムの変種は,問題の空間性を活用することにより,より良い後悔とコミュニケーションのトレードオフをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-04T01:42:55Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• Communication Efficient Federated Learning for Generalized Linear Bandits [39.1899551748345]
  連合学習環境下での一般化線形バンディットモデルについて検討する。 ローカルな更新とオフラインなリグレッションにオンラインのレグレッションを利用する通信効率の高いソリューションフレームワークを提案する。 我々のアルゴリズムは, 後悔とコミュニケーションの両コストにおいて, サブ線形レートが得られる。
  論文  参考訳（メタデータ） (2022-02-02T15:31:45Z)
• Federated Reinforcement Learning at the Edge [1.4271989597349055]
  現代のサイバー物理アーキテクチャでは、異なる物理的位置にあるシステムから収集されたデータを使用して適切な振る舞いを学び、不確実な環境に適応する。 本稿では,複数のエージェントが分散的に収集された時系列データに対して,強化学習問題を共同で解決するために,効率的にコミュニケーションを行う必要がある設定について考察する。 通信効率向上のためのアルゴリズムが提案され、理論的保証、実践的実装、数値評価がサポートされている。
  論文  参考訳（メタデータ） (2021-12-11T03:28:59Z)
• Anti-Concentrated Confidence Bonuses for Scalable Exploration [57.91943847134011]
  固有の報酬は、探検と探検のトレードオフを扱う上で中心的な役割を果たす。 楕円ボーナスを効率的に近似するためのエンファンティ集中型信頼境界を導入する。 我々は,Atariベンチマーク上での現代固有の報酬と競合する,深層強化学習のための実用的な変種を開発する。
  論文  参考訳（メタデータ） (2021-10-21T15:25:15Z)
• Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits [35.47147821038291]
  本稿では,同種クライアントと異種クライアントの集合に対する非同期モデル更新と通信を行う汎用フレームワークを提案する。 この分散学習フレームワークにおける後悔とコミュニケーションのコストに関する厳密な理論的分析が提供される。
  論文  参考訳（メタデータ） (2021-10-04T14:01:32Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Distributed Learning in the Non-Convex World: From Batch to Streaming Data, and Beyond [73.03743482037378]
  分散学習は、多くの人々が想定する、大規模に接続された世界の重要な方向となっている。 本稿では、スケーラブルな分散処理とリアルタイムデータ計算の4つの重要な要素について論じる。 実践的な問題や今後の研究についても論じる。
  論文  参考訳（メタデータ） (2020-01-14T14:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。