論文の概要: FedPC: Federated Learning for Language Generation with Personal and
Context Preference Embeddings
- arxiv url: http://arxiv.org/abs/2210.03766v1
- Date: Fri, 7 Oct 2022 18:01:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 14:50:27.040987
- Title: FedPC: Federated Learning for Language Generation with Personal and
Context Preference Embeddings
- Title（参考訳）: FedPC: 個人的およびコンテキスト優先の埋め込みによる言語生成のためのフェデレーションラーニング
- Authors: Andrew Silva, Pradyumna Tambwekar, Matthew Gombolay
- Abstract要約: フェデレーション学習(Federated Learning)は、集中型サーバにデータを集約することなく、複数の分散ユーザから学習するトレーニングパラダイムである。
我々は,個人埋め込みと共有コンテキスト埋め込みの両面を活用した,フェデレートラーニングにおけるパーソナライズ研究の新しい方向性を提案する。
本稿では,これらの嗜好の埋め込みを予測し,バックプロパゲーションを伴わないパーソナライズを可能にするアプローチを提案する。
- 参考スコア（独自算出の注目度）: 10.235620939242505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a training paradigm that learns from multiple
distributed users without aggregating data on a centralized server. Such a
paradigm promises the ability to deploy machine-learning at-scale to a diverse
population of end-users without first collecting a large, labeled dataset for
all possible tasks. As federated learning typically averages learning updates
across a decentralized population, there is a growing need for personalization
of federated learning systems (i.e conversational agents must be able to
personalize to a specific user's preferences). In this work, we propose a new
direction for personalization research within federated learning, leveraging
both personal embeddings and shared context embeddings. We also present an
approach to predict these ``preference'' embeddings, enabling personalization
without backpropagation. Compared to state-of-the-art personalization
baselines, our approach achieves a 50\% improvement in test-time perplexity
using 0.001\% of the memory required by baseline approaches, and achieving
greater sample- and compute-efficiency.
- Abstract（参考訳）: フェデレーション学習(Federated Learning)は、集中型サーバにデータを集約することなく、複数の分散ユーザから学習するトレーニングパラダイムである。
このようなパラダイムは、さまざまなエンドユーザに、可能なすべてのタスクに対して、最初に大きなラベル付きデータセットを収集することなく、大規模にマシンラーニングをデプロイできることを約束する。
連合学習は通常、分散した人口の学習更新を平均化するので、連合学習システムのパーソナライズの必要性が高まっている(会話エージェントは特定のユーザの好みにパーソナライズしなくてはならない)。
本研究では,個人埋め込みと共有コンテキスト埋め込みの両面を活用した,フェデレーション学習におけるパーソナライズ研究の新しい方向性を提案する。
また,これらの‘preference’の埋め込みを予測し,バックプロパゲーションを伴わないパーソナライズを可能にする手法を提案する。
最先端のパーソナライズベースラインと比較して,ベースラインアプローチで要求されるメモリの0.0001\%を用いて,テスト時のパープレキシティが50\%向上し,サンプルおよび計算効率が向上した。
関連論文リスト
- Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。
本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-27T06:37:19Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - FedEmbed: Personalized Private Federated Learning [13.356624498247069]
我々は、グローバルなモデルをパーソナライズするための個人的フェデレーション学習の新しいアプローチであるFedEmbedを紹介する。
我々はFedEmbedが、個人化された個人的フェデレーション学習に対するベースラインアプローチよりも最大45%改善していることを示す。
論文 参考訳（メタデータ） (2022-02-18T23:35:06Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳（メタデータ） (2022-02-10T20:44:44Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Subspace Learning for Personalized Federated Optimization [7.475183117508927]
本稿では,AIシステムにおけるパーソナライズされた学習の問題に対処する手法を提案する。
提案手法は、パーソナライズされたクライアント評価設定と見当たらないクライアント評価設定の両方において、一貫した利得が得られることを示す。
論文 参考訳（メタデータ） (2021-09-16T00:03:23Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z) - Personalized Federated Learning: A Meta-Learning Approach [28.281166755509886]
フェデレートラーニング(Federated Learning)では、複数のコンピューティングユニット(ユーザ)にまたがるモデルをトレーニングすることを目的としています。
本稿では,現在あるいは新規利用者が自身のデータに対して1段階ないし数段階の勾配降下を実行することで,ローカルデータセットに容易に適応できるような,初歩的な共有モデルを見つけることを目標とする,フェデレーション学習のパーソナライズされたバリエーションについて検討する。
論文 参考訳（メタデータ） (2020-02-19T01:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。