論文の概要: Private Federated Submodel Learning with Sparsification
- arxiv url: http://arxiv.org/abs/2205.15992v1
- Date: Tue, 31 May 2022 17:51:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 15:33:10.729746
- Title: Private Federated Submodel Learning with Sparsification
- Title(参考訳): スパシフィケーションを用いたプライベートフェデレーションサブモデル学習
- Authors: Sajani Vithana, Sennur Ulukus
- Abstract要約: フェデレーション付きサブモデル学習(FSL)におけるプライベートリード更新書き込み(PRUW)の問題について検討する。
本稿では、サブモデルインデックス、更新値、スパース更新の座標をデータベースに公開することなく、任意のサブモデルの任意のパラメータからプライベートに読み書きする新しいスキームを提案する。
- 参考スコア(独自算出の注目度): 60.77488903537807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the problem of private read update write (PRUW) in federated
submodel learning (FSL) with sparsification. In FSL, a machine learning model
is divided into multiple submodels, where each user updates only the submodel
that is relevant to the user's local data. PRUW is the process of privately
performing FSL by reading from and writing to the required submodel without
revealing the submodel index, or the values of updates to the databases.
Sparsification is a widely used concept in learning, where the users update
only a small fraction of parameters to reduce the communication cost. Revealing
the coordinates of these selected (sparse) updates leaks privacy of the user.
We show how PRUW in FSL can be performed with sparsification. We propose a
novel scheme which privately reads from and writes to arbitrary parameters of
any given submodel, without revealing the submodel index, values of updates, or
the coordinates of the sparse updates, to databases. The proposed scheme
achieves significantly lower reading and writing costs compared to what is
achieved without sparsification.
- Abstract(参考訳): フェデレーション付きサブモデル学習(FSL)におけるプライベートリード更新書き込み(PRUW)の問題について検討する。
FSLでは、機械学習モデルは複数のサブモデルに分割され、各ユーザーはユーザーのローカルデータに関連するサブモデルのみを更新する。
PRUWは、サブモデルインデックスやデータベース更新の値を明らかにすることなく、必要なサブモデルに読み書きすることで、FSLをプライベートに実行するプロセスである。
スパシフィケーションは学習において広く使われる概念であり、ユーザーは通信コストを削減するために少数のパラメータだけを更新する。
選択された(少ない)アップデートの座標を明らかにすると、ユーザのプライバシがリークする。
FSLにおけるPRUWのスペーサー化による効果を示す。
本稿では,サブモデルインデックスや更新値,スパース更新の座標をデータベースに公開することなく,任意のサブモデルの任意のパラメータに対してプライベートに読み出し,書き込みを行う方式を提案する。
提案手法は,スパーシフィケーションを使わずに実現した手法に比べて,読み書きコストを著しく低減する。
関連論文リスト
- STENCIL: Submodular Mutual Information Based Weak Supervision for
Cold-Start Active Learning [2.1485350418225244]
STENCILは、クラス不均衡のコールドスタート設定において、一般的なアクティブな学習手法に対して、複数のテキスト分類データセットに対して10%-24%、レアクラスのF-1スコアを17%-40%の精度で改善する。
論文 参考訳(メタデータ) (2024-02-21T01:54:58Z) - FLea: Improving federated learning on scarce and label-skewed data via
privacy-preserving feature augmentation [15.98209321182056]
Federated Learning (FL) は、ローカルデータセットが小さく、ラベルスキューが厳しい場合に、パフォーマンスが低下する手法である。
我々は、プライバシー保護機能との交換をクライアントに促すことにより、過剰適合と局所バイアスに対処する統合フレームワークである textitFLea を提案する。
実験では、TextitFLeaは、モデルパラメータのみを最大17.6%で共有し、データ拡張を最大6.3%で共有するFLメソッドよりも優れており、共有データ拡張に関連するプライバシー上の脆弱性を低減している。
論文 参考訳(メタデータ) (2023-12-04T20:24:09Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Don't Memorize; Mimic The Past: Federated Class Incremental Learning
Without Episodic Memory [36.4406505365313]
本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。
生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
論文 参考訳(メタデータ) (2023-07-02T07:06:45Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Practical and Light-weight Secure Aggregation for Federated Submodel
Learning [9.996335306548387]
本稿では,実用的で軽量なフェデレート・サブモデル学習手法を提案する。
我々は分散ポイント関数(DPF)とカッコウハッシュを用いてスキームを構築する。
提案プロトコルは,重量が$leq 215$である場合,1分以内で終了できる。
論文 参考訳(メタデータ) (2021-11-02T08:47:27Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2021-08-30T15:39:54Z) - Information-Theoretic Bounds on the Generalization Error and Privacy
Leakage in Federated Learning [96.38757904624208]
モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。
この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
論文 参考訳(メタデータ) (2020-05-05T21:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。