論文の概要: Private Federated Submodel Learning with Sparsification

• arxiv url: http://arxiv.org/abs/2205.15992v1
• Date: Tue, 31 May 2022 17:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 15:33:10.729746
• Title: Private Federated Submodel Learning with Sparsification
• Title（参考訳）: スパシフィケーションを用いたプライベートフェデレーションサブモデル学習
• Authors: Sajani Vithana, Sennur Ulukus
• Abstract要約: フェデレーション付きサブモデル学習(FSL)におけるプライベートリード更新書き込み(PRUW)の問題について検討する。 本稿では、サブモデルインデックス、更新値、スパース更新の座標をデータベースに公開することなく、任意のサブモデルの任意のパラメータからプライベートに読み書きする新しいスキームを提案する。
• 参考スコア（独自算出の注目度）: 60.77488903537807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the problem of private read update write (PRUW) in federated submodel learning (FSL) with sparsification. In FSL, a machine learning model is divided into multiple submodels, where each user updates only the submodel that is relevant to the user's local data. PRUW is the process of privately performing FSL by reading from and writing to the required submodel without revealing the submodel index, or the values of updates to the databases. Sparsification is a widely used concept in learning, where the users update only a small fraction of parameters to reduce the communication cost. Revealing the coordinates of these selected (sparse) updates leaks privacy of the user. We show how PRUW in FSL can be performed with sparsification. We propose a novel scheme which privately reads from and writes to arbitrary parameters of any given submodel, without revealing the submodel index, values of updates, or the coordinates of the sparse updates, to databases. The proposed scheme achieves significantly lower reading and writing costs compared to what is achieved without sparsification.
• Abstract（参考訳）: フェデレーション付きサブモデル学習(FSL)におけるプライベートリード更新書き込み(PRUW)の問題について検討する。 FSLでは、機械学習モデルは複数のサブモデルに分割され、各ユーザーはユーザーのローカルデータに関連するサブモデルのみを更新する。 PRUWは、サブモデルインデックスやデータベース更新の値を明らかにすることなく、必要なサブモデルに読み書きすることで、FSLをプライベートに実行するプロセスである。 スパシフィケーションは学習において広く使われる概念であり、ユーザーは通信コストを削減するために少数のパラメータだけを更新する。 選択された(少ない)アップデートの座標を明らかにすると、ユーザのプライバシがリークする。 FSLにおけるPRUWのスペーサー化による効果を示す。 本稿では,サブモデルインデックスや更新値,スパース更新の座標をデータベースに公開することなく,任意のサブモデルの任意のパラメータに対してプライベートに読み出し,書き込みを行う方式を提案する。 提案手法は,スパーシフィケーションを使わずに実現した手法に比べて,読み書きコストを著しく低減する。

関連論文リスト

• Efficient Federated Unlearning under Plausible Deniability [1.795561427808824]
  機械学習は、特定のデータポイントが重みに与える影響を忘れるため、MLパラメータを変更することでこの問題に対処する。 最近の文献では、データポイント(s)からのコントリビューションが、確率が1に近いデータセット内の他のデータポイントで鍛えられることが強調されている。 本稿では、FLサーバがクライアントの参加を確実に否定できるプライバシーモデルを用いて、フェデレートされたアンラーニングを実現する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T18:08:24Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• STENCIL: Submodular Mutual Information Based Weak Supervision for Cold-Start Active Learning [1.9116784879310025]
  STENCILは、クラス不均衡のコールドスタート設定において、一般的なアクティブな学習手法に対して、複数のテキスト分類データセットに対して10%-18%の精度で、レアクラスのF-1スコアを17%-40%の精度で改善する。 STENCILは、クラス不均衡のコールドスタート設定において、一般的なアクティブな学習方法よりも、複数のテキスト分類データセットに対して10%-18%、レアクラスのF-1スコアを17%-40%の精度で改善することを示した。
  論文  参考訳（メタデータ） (2024-02-21T01:54:58Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory [36.4406505365313]
  本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。 生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
  論文  参考訳（メタデータ） (2023-07-02T07:06:45Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Practical and Light-weight Secure Aggregation for Federated Submodel Learning [9.996335306548387]
  本稿では,実用的で軽量なフェデレート・サブモデル学習手法を提案する。 我々は分散ポイント関数(DPF)とカッコウハッシュを用いてスキームを構築する。 提案プロトコルは,重量が$leq 215$である場合,1分以内で終了できる。
  論文  参考訳（メタデータ） (2021-11-02T08:47:27Z)
• Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning [96.38757904624208]
  モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。 この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
  論文  参考訳（メタデータ） (2020-05-05T21:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。