論文の概要: Efficient and Robust Regularized Federated Recommendation
- arxiv url: http://arxiv.org/abs/2411.01540v1
- Date: Sun, 03 Nov 2024 12:10:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 21:27:35.049012
- Title: Efficient and Robust Regularized Federated Recommendation
- Title(参考訳): 効率的かつロバストな正規化フェデレーション勧告
- Authors: Langming Liu, Wanyu Wang, Xiangyu Zhao, Zijian Zhang, Chunxu Zhang, Shanru Lin, Yiqi Wang, Lixin Zou, Zitao Liu, Xuetao Wei, Hongzhi Yin, Qing Li,
- Abstract要約: 推薦システム(RSRS)は、ユーザの好みとプライバシの両方に対処する。
通信効率を向上させるために,非一様勾配勾配勾配を取り入れた新しい手法を提案する。
RFRecFの強靭性は、多様なベースラインに比べて優れている。
- 参考スコア(独自算出の注目度): 52.24782464815489
- License:
- Abstract: Recommender systems play a pivotal role across practical scenarios, showcasing remarkable capabilities in user preference modeling. However, the centralized learning paradigm predominantly used raises serious privacy concerns. The federated recommender system (FedRS) addresses this by updating models on clients, while a central server orchestrates training without accessing private data. Existing FedRS approaches, however, face unresolved challenges, including non-convex optimization, vulnerability, potential privacy leakage risk, and communication inefficiency. This paper addresses these challenges by reformulating the federated recommendation problem as a convex optimization issue, ensuring convergence to the global optimum. Based on this, we devise a novel method, RFRec, to tackle this optimization problem efficiently. In addition, we propose RFRecF, a highly efficient version that incorporates non-uniform stochastic gradient descent to improve communication efficiency. In user preference modeling, both methods learn local and global models, collaboratively learning users' common and personalized interests under the federated learning setting. Moreover, both methods significantly enhance communication efficiency, robustness, and privacy protection, with theoretical support. Comprehensive evaluations on four benchmark datasets demonstrate RFRec and RFRecF's superior performance compared to diverse baselines.
- Abstract(参考訳): レコメンダシステムは,ユーザ嗜好モデリングにおける顕著な能力を示すとともに,現実的なシナリオにおいて重要な役割を担っている。
しかし、集中学習パラダイムが主に使用されると、深刻なプライバシー上の懸念が生じる。
フェデレートされたレコメンダシステム(FedRS)はクライアントのモデルを更新することでこの問題に対処し、中央サーバはプライベートデータにアクセスせずにトレーニングを編成する。
しかし、既存のFedRSアプローチでは、非凸最適化、脆弱性、潜在的なプライバシー漏洩リスク、通信非効率といった未解決の課題に直面している。
本稿では, コンベックス最適化問題としてフェデレーションレコメンデーション問題を再構成し, グローバルな最適化への収束を確保することにより, これらの課題に対処する。
そこで我々は,この最適化問題を効率的に解くための新しい手法RFRecを考案した。
さらに、通信効率を向上させるために、一様でない確率勾配勾配を組み込んだ高効率版RFRecFを提案する。
ユーザの嗜好モデリングでは、どちらの手法もローカルモデルとグローバルモデルを学び、連合学習環境下でユーザの共通の興味とパーソナライズされた関心を協調的に学習する。
さらに,両手法は理論的支援により通信効率,堅牢性,プライバシー保護を著しく向上させる。
4つのベンチマークデータセットの総合評価では、RFRecとRFRecFは、多様なベースラインよりも優れたパフォーマンスを示している。
関連論文リスト
- Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration [1.33512912917221]
フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。
本稿では、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルの手法である、適応正規化自由特徴校正(ANFR)を提案する。
論文 参考訳(メタデータ) (2024-10-02T20:16:56Z) - FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳(メタデータ) (2024-05-20T06:12:33Z) - Federated Learning for Sparse Principal Component Analysis [0.0]
フェデレートラーニング(Federated Learning)は、クライアント側でモデルトレーニングが行われ、データをローカライズしてプライバシを保存する、分散化されたアプローチである。
本稿では,このフレームワークをSPCA(Sparse principal Component Analysis)に適用する。
SPCAは、解釈可能性を改善するためにデータの分散を最大化しながら、スパースコンポーネントのロードを達成することを目的としている。
論文 参考訳(メタデータ) (2023-11-15T03:55:28Z) - FedRec+: Enhancing Privacy and Addressing Heterogeneity in Federated
Recommendation Systems [15.463595798992621]
FedRec+は、フェデレーションレコメンデーションシステムのためのアンサンブルフレームワークである。
プライバシーを強化し、エッジユーザの通信コストを低減します。
FedRec+の最先端性能を示す実験結果が得られた。
論文 参考訳(メタデータ) (2023-10-31T05:36:53Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。
本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。
その独特な洞察力のある性質とその分析も提示される。
論文 参考訳(メタデータ) (2023-10-30T14:15:47Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳(メタデータ) (2023-05-19T10:47:44Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Cali3F: Calibrated Fast Fair Federated Recommendation System [25.388324221293203]
提案手法は,推薦性能の公平性を改善するために,パーソナライズされた推薦システムトレーニングアルゴリズムを提案する。
次に、トレーニングプロセスの高速化のためにクラスタリングベースのアグリゲーション手法を採用する。
Cali3Fは、キャリブレーションされた高速かつ公正なフェデレーションレコメンデーションフレームワークである。
論文 参考訳(メタデータ) (2022-05-26T03:05:26Z) - Adaptive Federated Optimization [43.78438670284309]
フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。
適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。
適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
論文 参考訳(メタデータ) (2020-02-29T16:37:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。