論文の概要: FEL: High Capacity Learning for Recommendation and Ranking via Federated Ensemble Learning

• arxiv url: http://arxiv.org/abs/2206.03852v1
• Date: Tue, 7 Jun 2022 17:05:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 15:05:05.219296
• Title: FEL: High Capacity Learning for Recommendation and Ranking via Federated Ensemble Learning
• Title（参考訳）: fel: 連合アンサンブル学習による推薦とランキングのための高容量学習
• Authors: Meisam Hejazinia Dzmitry Huba, Ilias Leontiadis, Kiwan Maeng, Mani Malek, Luca Melis, Ilya Mironov, Milad Nasr, Kaikai Wang, Carole-Jean Wu
• Abstract要約: 消費者プライバシニーズに対処するための効果的なアプローチとして、フェデレートラーニング(FL)が登場している。 FLは、スマートキーボードモデルのトレーニングやキーワードスポッティングなど、特定の機械学習タスクにうまく適用されている。 FLの最初の成功にもかかわらず、ランキングやレコメンデーションタスクなど多くの重要なディープラーニングのユースケースは、デバイス上での学習に限定されている。 本稿では,ディープラーニングランキングと推薦タスクの大規模なメモリ要件に対処するためのソリューションとして,フェデレート・アンサンブル・ラーニング(FEL)を提案する。
• 参考スコア（独自算出の注目度）: 10.01723538582691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has emerged as an effective approach to address consumer privacy needs. FL has been successfully applied to certain machine learning tasks, such as training smart keyboard models and keyword spotting. Despite FL's initial success, many important deep learning use cases, such as ranking and recommendation tasks, have been limited from on-device learning. One of the key challenges faced by practical FL adoption for DL-based ranking and recommendation is the prohibitive resource requirements that cannot be satisfied by modern mobile systems. We propose Federated Ensemble Learning (FEL) as a solution to tackle the large memory requirement of deep learning ranking and recommendation tasks. FEL enables large-scale ranking and recommendation model training on-device by simultaneously training multiple model versions on disjoint clusters of client devices. FEL integrates the trained sub-models via an over-arch layer into an ensemble model that is hosted on the server. Our experiments demonstrate that FEL leads to 0.43-2.31% model quality improvement over traditional on-device federated learning - a significant improvement for ranking and recommendation system use cases.
• Abstract（参考訳）: federated learning(fl)は、消費者プライバシニーズに対処する効果的なアプローチとして登場した。 flはスマートキーボードモデルのトレーニングやキーワードスポッティングなど、特定の機械学習タスクにうまく適用されている。 FLの最初の成功にもかかわらず、ランキングやレコメンデーションタスクなど多くの重要なディープラーニングのユースケースは、デバイス上での学習に限定されている。 dlベースのランキングとレコメンデーションの実際的なfl採用によって直面した重要な課題の1つは、現代のモバイルシステムでは満足できないリソース要件である。 本稿では,ディープラーニングランキングと推薦タスクの大規模なメモリ要件に対処する手段として,FEL(Federated Ensemble Learning)を提案する。 FELは、クライアントデバイスの不整合クラスタ上で複数のモデルバージョンを同時にトレーニングすることにより、デバイス上での大規模ランキングとレコメンデーションモデルのトレーニングを可能にする。 FELは、訓練されたサブモデルをオーバーアーキテクチャ層を介してサーバにホストされるアンサンブルモデルに統合する。 我々の実験は、FELが従来のデバイス上でのフェデレーション学習よりも0.43-2.31%モデル品質の改善をもたらすことを示した。

関連論文リスト

• Federated Learning of Large ASR Models in the Real World [4.153518001344824]
  フェデレーション学習は、プライバシ保護を伴う機械学習モデルのトレーニングにおいて有望な結果を示している。 1億以上のパラメータを持つ大規模モデルでは、共通デバイスはFLタスクを完了するのに十分なメモリと計算能力を持っていないため、FLのトレーニングリソース要件が障害となる。 本稿では,約130MパラメータのフルサイズASRモデルをFLで学習するための体系的解を提案する。
  論文  参考訳（メタデータ） (2024-08-19T22:44:10Z)
• Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
  フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。 我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。 実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-21T13:19:29Z)
• Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning [20.412469498888292]
  フェデレートラーニング(FL)は、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。 各トレーニングラウンドにおける参加デバイスの選択は、モデル性能とトレーニング効率の両方に重大な影響を及ぼす。 我々は、エンドツーエンドのランキングベースのアプローチであるFedRankという新しいデバイス選択ソリューションを導入する。
  論文  参考訳（メタデータ） (2024-05-07T08:44:29Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• Split Federated Learning on Micro-controllers: A Keyword Spotting Showcase [1.4794135558227681]
  フェデレートラーニング(Federated Learning)は,ユーザの生データをサーバに収集することなく,ローカルでモデルをトレーニングする,プライベートラーニングスキームとして提案されている。 本研究では,Arduinoボード上に単純なSFLフレームワークを実装し,90%以上の精度でキーワードスポッティングアプリケーションのための中国語桁音声データセットの正当性を検証した。 英数字音声データセットでは、SFL実装は最先端のFL実装と比較して13.89%高い精度を実現している。
  論文  参考訳（メタデータ） (2022-10-04T23:42:45Z)
• ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity [15.908499928588297]
  フェデレートラーニング(FL)では、ノードは従来のサーバグレードのハードウェアよりも桁違いに制約を受ける。 我々は、デバイス上でのトレーニングを加速するために、高度にスパースな操作に依存するZeroFLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T07:37:07Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Mobility-Aware Cluster Federated Learning in Hierarchical Wireless Networks [81.83990083088345]
  我々は,無線ネットワークにおける階層型フェデレーション学習(HFL)アルゴリズムを特徴付ける理論モデルを開発した。 分析の結果,HFLの学習性能は,ハイモービル利用者の学習能力が著しく低下していることが判明した。 これらの問題を回避するため,我々はMACFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-20T10:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。