論文の概要: Online Meta-Learning for Model Update Aggregation in Federated Learning for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2209.00629v1
• Date: Tue, 30 Aug 2022 18:13:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:38:07.668995
• Title: Online Meta-Learning for Model Update Aggregation in Federated Learning for Click-Through Rate Prediction
• Title（参考訳）: クリックスルーレート予測のためのフェデレーション学習におけるモデル更新集約のためのオンラインメタラーニング
• Authors: Xianghang Liu, Bart{\l}omiej Twardowski, Tri Kurniawan Wijaya
• Abstract要約: モデル更新を集約する戦略を学習するための簡単なオンラインメタ学習手法を提案する。 本手法は, 収束速度と最終学習結果の質の両方において, 最先端の手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 2.9649783577150837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Federated Learning (FL) of click-through rate (CTR) prediction, users' data is not shared for privacy protection. The learning is performed by training locally on client devices and communicating only model changes to the server. There are two main challenges: (i) the client heterogeneity, making FL algorithms that use the weighted averaging to aggregate model updates from the clients have slow progress and unsatisfactory learning results; and (ii) the difficulty of tuning the server learning rate with trial-and-error methodology due to the big computation time and resources needed for each experiment. To address these challenges, we propose a simple online meta-learning method to learn a strategy of aggregating the model updates, which adaptively weighs the importance of the clients based on their attributes and adjust the step sizes of the update. We perform extensive evaluations on public datasets. Our method significantly outperforms the state-of-the-art in both the speed of convergence and the quality of the final learning results.
• Abstract（参考訳）: クリックスルー率(CTR)予測のフェデレート学習(FL)では、ユーザのデータはプライバシ保護のために共有されない。 学習は、クライアントデバイス上でローカルにトレーニングし、モデル変更のみをサーバに通信することで行われる。 主な課題は2つあります (一)クライアントの不均一性、重み付け平均法を用いてクライアントからのモデル更新を集約するflアルゴリズムは、進捗が遅く、学習結果が不十分である。 (ii)各実験に必要な計算時間とリソースが大きいため、試行錯誤方法論によるサーバ学習率の調整が困難である。 これらの課題に対処するために、モデル更新を集約する戦略を学ぶための簡単なオンラインメタラーニング手法を提案し、それらの属性に基づいてクライアントの重要性を適応的に重み付け、更新のステップサイズを調整する。 公開データセットについて広範な評価を行う。 本手法は, 収束速度と最終学習結果の品質の両方において, 最先端の手法を著しく上回っている。

関連論文リスト

• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Elastically-Constrained Meta-Learner for Federated Learning [3.032797107899338]
  フェデレートラーニング(Federated Learning)とは、データ共有を禁止する複数のパーティを対象とした、協調的な機械学習モデルに対するアプローチである。 フェデレーション学習の課題の1つは、クライアント間の非制約データである。
  論文  参考訳（メタデータ） (2023-06-29T05:58:47Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Communication-Efficient Federated Learning with Accelerated Client Gradient [46.81082897703729]
  フェデレーション学習は、クライアントデータセットの不均一な特徴のために、遅くて不安定な収束に悩まされることが多い。 本稿では,クライアント間の一貫性を改善し,サーバモデルの収束を容易にする,シンプルだが効果的なフェデレーション学習フレームワークを提案する。 我々は,アルゴリズムの理論的収束率を示し,精度と通信効率の点で顕著な性能向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T05:31:07Z)
• Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal [27.64806509651952]
  FLシナリオにおける漸進的な学習プロセスに対処する新しいアルゴリズムを提案する。 まず、クライアントデータのプライバシーを確保するために、ディープ変分埋め込み(Deep Variational Embeddings)を提案する。 第2に,学習した知識をモデルでリハーサルするサーバサイドトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-10-19T02:26:35Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• CatFedAvg: Optimising Communication-efficiency and Classification Accuracy in Federated Learning [2.2172881631608456]
  そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。 コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。 実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2020-11-14T06:52:02Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。