論文の概要: Towards Efficient Communication Federated Recommendation System via
Low-rank Training
- arxiv url: http://arxiv.org/abs/2401.03748v1
- Date: Mon, 8 Jan 2024 09:19:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 17:11:27.391421
- Title: Towards Efficient Communication Federated Recommendation System via
Low-rank Training
- Title(参考訳): 低ランクトレーニングによる効果的なコミュニケーション連合推薦システムの構築
- Authors: Ngoc-Hieu Nguyen, Tuan-Anh Nguyen, Tuan Nguyen, Vu Tien Hoang, Dung D.
Le, Kok-Seng Wong
- Abstract要約: Federated Recommendation(FedRec)システムでは、通信コストが重要なボトルネックになります。
我々はCorrelated Low-rank Structure (CoLR)と呼ばれる新しいフレームワークを提案する。
提案手法は,計算負荷を伴わずに通信オーバーヘッドを大幅に削減する。
- 参考スコア(独自算出の注目度): 5.57061856301383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Federated Recommendation (FedRec) systems, communication costs are a
critical bottleneck that arises from the need to transmit neural network models
between user devices and a central server. Prior approaches to these challenges
often lead to issues such as computational overheads, model specificity
constraints, and compatibility issues with secure aggregation protocols. In
response, we propose a novel framework, called Correlated Low-rank Structure
(CoLR), which leverages the concept of adjusting lightweight trainable
parameters while keeping most parameters frozen. Our approach substantially
reduces communication overheads without introducing additional computational
burdens. Critically, our framework remains fully compatible with secure
aggregation protocols, including the robust use of Homomorphic Encryption. Our
approach resulted in a reduction of up to 93.75% in payload size, with only an
approximate 8% decrease in recommendation performance across datasets. Code for
reproducing our experiments can be found at
https://github.com/NNHieu/CoLR-FedRec.
- Abstract(参考訳): Federated Recommendation(FedRec)システムでは、通信コストは、ユーザデバイスと中央サーバ間でニューラルネットワークモデルを送信する必要から生じる重要なボトルネックである。
これらの課題に対する以前のアプローチは、しばしば計算オーバーヘッド、モデル固有性制約、セキュアアグリゲーションプロトコルとの互換性問題などの問題を引き起こす。
そこで本研究では,多くのパラメータを凍結しながら軽量な学習可能なパラメータを調整するという概念を活かした,相関型低ランク構造(colr)と呼ばれる新しい枠組みを提案する。
提案手法は,計算負荷を伴わずに通信オーバーヘッドを大幅に削減する。
批判的に、当社のフレームワークは、準同型暗号の堅牢な使用を含む、セキュアなアグリゲーションプロトコルと完全に互換性があります。
このアプローチにより、ペイロードサイズの最大93.75%が削減され、データセット間での推奨性能はおよそ8%低下した。
実験を再現するためのコードはhttps://github.com/NNHieu/CoLR-FedRec.orgにある。
関連論文リスト
- Privacy-Preserving Distributed Learning for Residential Short-Term Load
Forecasting [11.185176107646956]
電力システムの負荷データは、住宅ユーザの日常のルーチンを不注意に明らかにし、彼らの財産のセキュリティにリスクを及ぼす可能性がある。
我々はマルコフスイッチ方式の分散学習フレームワークを導入し、その収束は厳密な理論的解析によって実証される。
実世界の電力系統負荷データを用いたケーススタディにより,提案アルゴリズムの有効性を検証した。
論文 参考訳(メタデータ) (2024-02-02T16:39:08Z) - Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-03T13:34:44Z) - FeDiSa: A Semi-asynchronous Federated Learning Framework for Power
System Fault and Cyberattack Discrimination [1.0621485365427565]
本稿では,電力系統故障とサイバーアタック識別のための半非同期フェデレーション学習フレームワークFeDiSaを提案する。
産業用制御システムデータセットを用いた提案フレームワークの実験により,データ機密性を維持しつつ,通信遅延やストラグラーの悪影響を最小限に抑えながら,攻撃検出精度が向上した。
論文 参考訳(メタデータ) (2023-03-28T13:34:38Z) - Machine Unlearning of Federated Clusters [36.663892269484506]
フェデレーションクラスタリング(Federated Clustering)は、パーソナライズされたレコメンデータや医療システムなど、多くの実践的なアプリケーションで発生する、教師なしの学習問題である。
FCにおける機械学習の課題を初めて紹介する。
カスタマイズされたセキュアなFCフレームワークのための効率的なアンラーニング機構を提案する。
論文 参考訳(メタデータ) (2022-10-28T22:21:29Z) - ScionFL: Efficient and Robust Secure Quantized Aggregation [44.69902593901196]
我々は,フェデレートラーニングのための最初のセキュアアグリゲーションフレームワークであるScionFLを紹介する。
量子化された入力で効率的に動作し、同時に悪意のあるクライアントに対して堅牢性を提供する。
クライアントのオーバーヘッドがなく、サーバ側のオーバーヘッドも緩やかなため、標準的なFLベンチマークでは同等の精度が得られます。
論文 参考訳(メタデータ) (2022-10-13T21:46:55Z) - Learning Resilient Radio Resource Management Policies with Graph Neural
Networks [124.89036526192268]
我々は、ユーザ当たりの最小容量制約でレジリエントな無線リソース管理問題を定式化する。
有限個のパラメータ集合を用いてユーザ選択と電力制御ポリシーをパラメータ化できることを示す。
このような適応により,提案手法は平均レートと5番目のパーセンタイルレートとの良好なトレードオフを実現する。
論文 参考訳(メタデータ) (2022-03-07T19:40:39Z) - Sparsified Secure Aggregation for Privacy-Preserving Federated Learning [1.2891210250935146]
セキュアアグリゲーションのための軽量な勾配スペーシフィケーションフレームワークを提案する。
提案手法は,セキュアアグリゲーションの通信オーバヘッドを大幅に低減できることを示す。
実験により,従来のセキュアなベンチマークと比較すると,我々のフレームワークは通信オーバーヘッドを最大7.8倍削減し,壁時計のトレーニング時間を1.13倍短縮することを示した。
論文 参考訳(メタデータ) (2021-12-23T22:44:21Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳(メタデータ) (2020-11-03T13:35:53Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳(メタデータ) (2020-10-08T15:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。