論文の概要: Towards Fair Federated Recommendation Learning: Characterizing the
Inter-Dependence of System and Data Heterogeneity
- arxiv url: http://arxiv.org/abs/2206.02633v1
- Date: Mon, 30 May 2022 20:59:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-12 09:37:52.109006
- Title: Towards Fair Federated Recommendation Learning: Characterizing the
Inter-Dependence of System and Data Heterogeneity
- Title(参考訳): フェア・フェデレーション・レコメンデーション・ラーニングに向けて--システムの相互依存性とデータの多様性を特徴付ける
- Authors: Kiwan Maeng, Haiyu Lu, Luca Melis, John Nguyen, Mike Rabbat,
Carole-Jean Wu
- Abstract要約: フェデレートラーニング(FL)は、デバイス上で機械学習モデルトレーニングを実行することで、レコメンデータシステムにおけるデータプライバシの効果的なメカニズムである。
以前のFL最適化では、FLが直面するデータとシステムの不均一性の問題に対処していたが、両者は互いに独立していると仮定した。
本稿では、実世界のデータにおけるデータとシステムの不均一性の相互依存性を示すために、データ駆動型アプローチを採用し、モデル全体の品質と公平性に与える影響を定量化する。
- 参考スコア(独自算出の注目度): 6.355248215478912
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning (FL) is an effective mechanism for data privacy in
recommender systems by running machine learning model training on-device. While
prior FL optimizations tackled the data and system heterogeneity challenges
faced by FL, they assume the two are independent of each other. This
fundamental assumption is not reflective of real-world, large-scale recommender
systems -- data and system heterogeneity are tightly intertwined. This paper
takes a data-driven approach to show the inter-dependence of data and system
heterogeneity in real-world data and quantifies its impact on the overall model
quality and fairness. We design a framework, RF^2, to model the
inter-dependence and evaluate its impact on state-of-the-art model optimization
techniques for federated recommendation tasks. We demonstrate that the impact
on fairness can be severe under realistic heterogeneity scenarios, by up to
15.8--41x compared to a simple setup assumed in most (if not all) prior work.
It means when realistic system-induced data heterogeneity is not properly
modeled, the fairness impact of an optimization can be downplayed by up to 41x.
The result shows that modeling realistic system-induced data heterogeneity is
essential to achieving fair federated recommendation learning. We plan to
open-source RF^2 to enable future design and evaluation of FL innovations.
- Abstract(参考訳): フェデレートラーニング(FL)は、デバイス上で機械学習モデルトレーニングを実行することで、レコメンデータシステムにおけるデータプライバシの効果的なメカニズムである。
以前のFL最適化では、FLが直面するデータとシステムの不均一性の問題に対処していたが、両者は互いに独立していると仮定した。
この基本的な仮定は、現実の大規模レコメンデーションシステムを反映していない -- データとシステムの不均一性は密接に絡み合っている。
本稿では、実世界のデータにおけるデータとシステムの不均一性の相互依存性を示し、そのモデル全体の品質と公平性への影響を定量化するデータ駆動アプローチを提案する。
我々は,相互依存をモデル化するためのフレームワークrf^2を設計し,フェデレーション推薦タスクにおける最新モデル最適化手法への影響評価を行う。
公平性への影響は、ほとんどの(すべてではないにせよ)以前の作業で想定された単純な設定と比較して、最大15.8--41倍の現実的な異質性シナリオにおいて厳しいものであることを実証する。
つまり、現実的なシステムによって引き起こされるデータの不均一性が適切にモデル化されていない場合、最適化の公平性への影響を最大41倍下げることができる。
その結果、現実的なシステムによるデータ不均一性のモデリングは、公正な連合型レコメンデーション学習を実現するために不可欠である。
FLイノベーションの今後の設計と評価を可能にするため、RF^2をオープンソース化する予定である。
関連論文リスト
- Enhancing Data Provenance and Model Transparency in Federated Learning
Systems -- A Database Approach [1.2180726230978978]
Federated Learning (FL)は、分散型エッジデバイス間で機械学習モデルをトレーニングするための有望なパラダイムを提供する。
これらの分散環境におけるデータの完全性とトレーサビリティの確保は、依然として重要な課題である。
FLシステムにおけるデータプロファイランスとモデルの透明性を高めるための最初のアプローチの1つを提案する。
論文 参考訳(メタデータ) (2024-03-03T09:08:41Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2023-12-10T18:49:59Z) - Communication-Efficient Heterogeneous Federated Learning with
Generalized Heavy-Ball Momentum [10.345853941184178]
最先端のアプローチは、通信コストの増加で収束を保証するか、あるいは極端に異質な局所分布を扱うのに十分な堅牢性を持っていないかのどちらかである。
本稿では,重球運動量の新たな一般化を提案し,通信オーバーヘッドを伴わずにFLの統計的不均一性を効果的に解くためのFedHBMを提案する。
我々は、一般的なFLビジョンとNLPデータセットに対して広範な実験を行い、FedHBMアルゴリズムは、特に病的非イドシナリオにおいて、より優れたモデル品質とより高い収束速度を経験的に得ることを示した。
論文 参考訳(メタデータ) (2023-11-30T14:17:57Z) - Filling the Missing: Exploring Generative AI for Enhanced Federated
Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。
実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
論文 参考訳(メタデータ) (2023-10-21T12:07:04Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳(メタデータ) (2023-05-04T09:26:03Z) - FedGPO: Heterogeneity-Aware Global Parameter Optimization for Efficient
Federated Learning [11.093360539563657]
フェデレートラーニング(FL)は、機械学習トレーニングにおけるプライバシリークのリスクに対処するソリューションとして登場した。
我々は,モデル収束を保証しつつ,FLのエネルギー効率を最適化するFedGPOを提案する。
我々の実験では、FedGPOはモデル収束時間を2.4倍改善し、ベースライン設定の3.6倍のエネルギー効率を達成する。
論文 参考訳(メタデータ) (2022-11-30T01:22:57Z) - CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in
Federated Learning [19.4810285821324]
我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。
提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
論文 参考訳(メタデータ) (2022-04-04T14:49:19Z) - Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。
本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。
複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文 参考訳(メタデータ) (2021-07-14T08:32:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。