論文の概要: Heterogeneous federated collaborative filtering using FAIR: Federated
Averaging in Random Subspaces
- arxiv url: http://arxiv.org/abs/2311.01722v1
- Date: Fri, 3 Nov 2023 05:39:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 15:11:56.732051
- Title: Heterogeneous federated collaborative filtering using FAIR: Federated
Averaging in Random Subspaces
- Title（参考訳）: ランダム部分空間におけるfair:federated averagingを用いたヘテロジニアスフェデレーション協調フィルタリング
- Authors: Aditya Desai, Benjamin Meisburger, Zichang Liu, Anshumali Shrivastava
- Abstract要約: デバイス容量に基づいた埋め込みテーブルの任意の圧縮を可能にするFAIR(Federated Averaging in Random subspaces)を提案する。
FAIR on Neural Collaborative Filtering task with multiple datasets and confirmed that FAIR can collect and shared information from a wide range devices。
- 参考スコア（独自算出の注目度）: 32.657970881643614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recommendation systems (RS) for items (e.g., movies, books) and ads are
widely used to tailor content to users on various internet platforms.
Traditionally, recommendation models are trained on a central server. However,
due to rising concerns for data privacy and regulations like the GDPR,
federated learning is an increasingly popular paradigm in which data never
leaves the client device. Applying federated learning to recommendation models
is non-trivial due to large embedding tables, which often exceed the memory
constraints of most user devices. To include data from all devices in federated
learning, we must enable collective training of embedding tables on devices
with heterogeneous memory capacities. Current solutions to heterogeneous
federated learning can only accommodate a small range of capacities and thus
limit the number of devices that can participate in training. We present
Federated Averaging in Random subspaces (FAIR), which allows arbitrary
compression of embedding tables based on device capacity and ensures the
participation of all devices in training. FAIR uses what we call consistent and
collapsible subspaces defined by hashing-based random projections to jointly
train large embedding tables while using varying amounts of compression on user
devices. We evaluate FAIR on Neural Collaborative Filtering tasks with multiple
datasets and verify that FAIR can gather and share information from a wide
range of devices with varying capacities, allowing for seamless collaboration.
We prove the convergence of FAIR in the homogeneous setting with non-i.i.d data
distribution. Our code is open source at {https://github.com/apd10/FLCF}
- Abstract（参考訳）: アイテム(映画、本など)や広告に対するレコメンデーションシステム(rs)は、様々なインターネットプラットフォーム上のユーザーにコンテンツを提供するために広く使われている。
従来、リコメンデーションモデルは中央サーバーでトレーニングされる。
しかしながら、gdprのようなデータプライバシや規制に対する懸念が高まっているため、フェデレーション学習は、データがクライアントデバイスを離れないという、ますます一般的なパラダイムである。
統合学習をレコメンデーションモデルに適用することは、ほとんどのユーザデバイスのメモリ制約を超える大きな埋め込みテーブルのため、簡単ではない。
フェデレーション学習にすべてのデバイスからのデータを含めるには、ヘテロジニアスメモリ容量を持つデバイスへのテーブル埋め込みを集団でトレーニングする必要があります。
ヘテロジニアスな連合学習に対する現在のソリューションは、限られた範囲の能力しか持たないため、トレーニングに参加できるデバイス数を制限できる。
本稿では,デバイス容量に基づく埋め込みテーブルの任意の圧縮を可能にし,すべてのデバイスがトレーニングに参加することを保証する,ランダム部分空間におけるフェデレート平均化(fair)を提案する。
FAIRは、ハッシュベースのランダムプロジェクションによって定義された一貫性と折り畳み可能なサブスペースと呼ばれるものを使用して、ユーザデバイス上でさまざまな量の圧縮を使用しながら、大きな埋め込みテーブルを共同でトレーニングします。
本稿では,複数のデータセットを用いたニューラルコラボレーティブフィルタリングタスクにおけるfairを評価し,fairがさまざまなキャパシティを有する幅広いデバイスから情報を収集し共有できることを確認し,シームレスなコラボレーションを可能にする。
非i.dデータ分布の均質な設定におけるFAIRの収束性を証明する。
私たちのコードは、https://github.com/apd10/FLCF}でオープンソースです。
関連論文リスト
- Unsupervised Federated Optimization at the Edge: D2D-Enabled Learning without Labels [14.696896223432507]
Federated Learning (FL)は、分散機械学習(ML)の一般的なソリューションである
tt CF-CLは、明示的な(生データ)または暗黙的な(埋め込み)情報をデバイス間通信(D2D)を介して交換する、ローカルなデバイス連携を採用している。
論文 参考訳（メタデータ） (2024-04-15T15:17:38Z) - Partial Federated Learning [26.357723187375665]
Federated Learning(FL)は、エッジデバイスに制約されたユーザデータに基づいて機械学習モデルをトレーニングする一般的なアルゴリズムである。
そこで我々は、機械学習モデルに、データのサブセットをサーバに提供可能なデータを用いてトレーニングする、Partial Federated Learning (PartialFL) と呼ばれる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-03T21:04:36Z) - Federated Learning for Computationally-Constrained Heterogeneous
Devices: A Survey [3.219812767529503]
フェデレートラーニング(FL)は、通信オーバーヘッドとモデルの正確性の間のトレードオフをプライバシ保護する。
現実のアプリケーションに広く適用するためにFLが克服しなければならない課題について概説する。
論文 参考訳（メタデータ） (2023-07-18T12:05:36Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Federated Split GANs [12.007429155505767]
ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。
我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。
我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
論文 参考訳（メタデータ） (2022-07-04T23:53:47Z) - FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文 参考訳（メタデータ） (2022-06-21T17:23:06Z) - Federated Learning-based Active Authentication on Mobile Devices [98.23904302910022]
モバイルデバイス上のユーザアクティブ認証は、デバイスセンサ情報に基づいて登録ユーザを正しく認識できるモデルを学ぶことを目的としている。
Federated Active Authentication (FAA) と呼ばれる新しいユーザーアクティブ認証トレーニングを提案します。
既存のFL/SL法は,同質に分散するデータに依存するため,FAAにとって最適ではないことを示す。
論文 参考訳（メタデータ） (2021-04-14T22:59:08Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z) - Federated Learning with Only Positive Labels [71.63836379169315]
FedAwS(Federated Averaging with Spreadout)という,正のラベルのみを用いたトレーニングのための汎用フレームワークを提案する。
理論的にも経験的にも、FedAwSは、ユーザが負のラベルにアクセス可能な従来の学習のパフォーマンスとほぼ一致していることを示す。
論文 参考訳（メタデータ） (2020-04-21T23:35:02Z) - Meta Matrix Factorization for Federated Rating Predictions [84.69112252208468]
フェデレートされたレコメンデーターシステムは、従来のレコメンデーターシステムよりもプライバシー保護という点で明確なアドバンテージを持っている。
フェデレートされたレコメンデータシステムに関するこれまでの研究は、モバイル環境におけるストレージ、RAM、エネルギ、通信帯域の制限を十分に考慮していない。
本研究の目的は,モバイル環境を対象としたレーティング予測(RP)のための新しい統合学習フレームワークを設計することである。
論文 参考訳（メタデータ） (2019-10-22T16:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。