論文の概要: Gradients as an Action: Towards Communication-Efficient Federated Recommender Systems via Adaptive Action Sharing
- arxiv url: http://arxiv.org/abs/2507.08842v1
- Date: Tue, 08 Jul 2025 03:24:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:21.475943
- Title: Gradients as an Action: Towards Communication-Efficient Federated Recommender Systems via Adaptive Action Sharing
- Title(参考訳): 行動としてのグラディエント:適応的行動共有によるコミュニケーション効率の良いフェデレーションレコメンダシステムを目指して
- Authors: Zhufeng Lu, Chentao Jia, Ming Hu, Xiaofei Xie, Mingsong Chen,
- Abstract要約: 本稿では,Federated Recommender Systems (FedRecs) フレームワークであるFedRASについて述べる。
良く知られたデータセットの実験により、FedRASは通信ペイロードのサイズを96.88%まで削減できることを示した。
- 参考スコア(独自算出の注目度): 20.859681936059417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a promising privacy-aware collaborative model training paradigm, Federated Learning (FL) is becoming popular in the design of distributed recommender systems. However, Federated Recommender Systems (FedRecs) greatly suffer from two major problems: i) extremely high communication overhead due to massive item embeddings involved in recommendation systems, and ii) intolerably low training efficiency caused by the entanglement of both heterogeneous network environments and client devices. Although existing methods attempt to employ various compression techniques to reduce communication overhead, due to the parameter errors introduced by model compression, they inevitably suffer from model performance degradation. To simultaneously address the above problems, this paper presents a communication-efficient FedRec framework named FedRAS, which adopts an action-sharing strategy to cluster the gradients of item embedding into a specific number of model updating actions for communication rather than directly compressing the item embeddings. In this way, the cloud server can use the limited actions from clients to update all the items. Since gradient values are significantly smaller than item embeddings, constraining the directions of gradients (i.e., the action space) introduces smaller errors compared to compressing the entire item embedding matrix into a reduced space. To accommodate heterogeneous devices and network environments, FedRAS incorporates an adaptive clustering mechanism that dynamically adjusts the number of actions. Comprehensive experiments on well-known datasets demonstrate that FedRAS can reduce the size of communication payloads by up to 96.88%, while not sacrificing recommendation performance within various heterogeneous scenarios. We have open-sourced FedRAS at https://github.com/mastlab-T3S/FedRAS.
- Abstract(参考訳): 有望なプライバシーに配慮した協調モデルトレーニングパラダイムとして、フェデレートラーニング(FL)は分散レコメンデータシステムの設計で人気を集めています。
しかし、Federated Recommender Systems(FedRecs)は2つの大きな問題に悩まされている。
一 推薦制度に係わる大量の物品の埋入による通信のオーバーヘッドが極端に大きいこと。
二 不均一ネットワーク環境及びクライアント装置の絡み合いによる訓練効率の低下
既存の手法では様々な圧縮手法を用いて通信オーバヘッドを低減しようとするが、モデル圧縮によって引き起こされるパラメータエラーのため、必然的にモデル性能の劣化に悩まされる。
本稿では,FedRASという通信効率の高いFedRecフレームワークを提案する。このフレームワークは,アイテムの埋め込みを直接圧縮するのではなく,特定の数のモデル更新アクションに埋め込みの勾配をクラスタ化するためのアクション共有戦略を採用している。
このようにして、クラウドサーバは、クライアントからの制限されたアクションを使用して、すべてのアイテムを更新することができる。
勾配値はアイテム埋め込みよりも著しく小さいため、勾配の方向(例えば、アクション空間)を制約すると、アイテム埋め込み行列全体を縮小された空間に圧縮するよりも誤差が小さくなる。
不均一なデバイスやネットワーク環境に対応するため、FedRASは動的にアクションの数を調整する適応的なクラスタリング機構を組み込んでいる。
良く知られたデータセットに関する総合的な実験は、FedRASが様々な異種シナリオで推奨性能を犠牲にすることなく、通信ペイロードのサイズを96.88%まで削減できることを示した。
我々はFedRASをhttps://github.com/mastlab-T3S/FedRASでオープンソース化しました。
関連論文リスト
- SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳(メタデータ) (2024-07-10T10:22:35Z) - Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression [10.233937665979694]
DLRMは最先端のレコメンデーションシステムモデルであり、様々な業界アプリケーションで広く採用されている。
このプロセスの重大なボトルネックは、すべてのデバイスから埋め込みデータを集めるのに必要な全通信に時間を要することだ。
本稿では,通信データサイズを削減し,DLRMトレーニングを高速化するために,エラーバウンドの損失圧縮を利用する手法を提案する。
論文 参考訳(メタデータ) (2024-07-05T05:55:18Z) - Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification [49.66272783945571]
Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。
本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
論文 参考訳(メタデータ) (2024-06-19T05:26:02Z) - Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳(メタデータ) (2024-01-25T14:49:15Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳(メタデータ) (2023-08-09T04:34:21Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Communication-Compressed Adaptive Gradient Method for Distributed
Nonconvex Optimization [21.81192774458227]
主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。
提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
論文 参考訳(メタデータ) (2021-11-01T04:54:55Z) - Quantization for Distributed Optimization [0.0]
本稿では,バニラSGDの性能を維持しながら通信オーバヘッドを大幅に低減する全リデュース勾配対応圧縮方式を提案する。
我々の圧縮手法は、現在ディープラーニングフレームワークによって提供されている工法よりも優れています。
論文 参考訳(メタデータ) (2021-09-26T05:16:12Z) - Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文 参考訳(メタデータ) (2021-09-17T04:48:42Z) - Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。
このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。
いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文 参考訳(メタデータ) (2020-09-19T17:28:11Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。