論文の概要: Towards Efficient Secure Aggregation in FL: Partial Vector Freezing for Cost Compression
- arxiv url: http://arxiv.org/abs/2312.04920v2
- Date: Mon, 11 Dec 2023 06:35:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 12:46:22.733463
- Title: Towards Efficient Secure Aggregation in FL: Partial Vector Freezing for Cost Compression
- Title(参考訳): FLの高効率安全な凝集に向けて:コスト圧縮のための部分ベクトル凍結
- Authors: Siqing Zhang, Yong Liao, Pengyuan Zhou,
- Abstract要約: 計算コストを圧縮するポータブルモジュールであるPVFを提案する。
PVFは特定の線形変換を通じて、プライベートベクトルのかなりの部分を凍結することができる。
エクステンションは、ユーザのオリジナルのベクタに対する一貫性の制約を強制し、集約された結果を確認し、セキュリティを強化する。
- 参考スコア(独自算出の注目度): 7.908496863030483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Secure aggregation of user vectors has become a critical issue in the field of federated learning. Many Secure Aggregation Protocols (SAP) face exorbitant computation costs, which severely limit their applicability. We uncover that current endeavors to reduce computation costs tend to overlook a crucial fact: a considerable portion of SAP's computation burden stems from processing each entry in the private vectors. Given this observation, we propose PVF, a portable module for compressing computation costs. PVF is able to ``freeze'' a substantial portion of the private vector through specific linear transformations, only requiring $\frac{1}{\lambda}$ of the original vector to participate in SAP. Eventually, users can ``thaw'' the public sum of the ``frozen entries" by the result of SAP. To enhance functionality, we introduce extensions that can enforce consistency constraints on users' original vectors, verify aggregated results, and enhance security when a portion of the private vector is known to the server. We demonstrate that PVF can seamlessly integrate with various SAP and prove that it poses no threat to user privacy in the semi-honest and active adversary settings. We select $8$ baselines, encompassing $6$ distinct types of SAP, and explore the acceleration effects of PVF on these SAP. Empirical investigations indicate that when $\lambda=100$, PVF yields up to $99.5\times$ speedup and up to $32.3\times$ communication reduction, with the potential to approach nearly $1000\times$ acceleration as $\lambda$ increases.
- Abstract(参考訳): ユーザベクトルのセキュアな集約は、連合学習の分野で重要な問題となっている。
多くのセキュアアグリゲーションプロトコル(SAP)は、その適用性を著しく制限するエクサビタントな計算コストに直面している。
SAPの計算負担のかなりの部分は、プライベートベクトルの各エントリを処理することに起因する。
本稿では,計算コストを圧縮するポータブルモジュールPVFを提案する。
PVF は、特定の線形変換を通じてプライベートベクトルのかなりの部分を ``freeze'' することができ、SAP に参加するために元のベクトルの $\frac{1}{\lambda}$ しか必要としない。
最終的には、ユーザは、SAPの結果として ``凍結エントリ' の公開合計を ``thaw' にすることができる。
機能強化のために,ユーザ元のベクトルに対する一貫性の制約を強制し,集計結果を検証し,サーバにプライベートベクトルの一部が知られている場合にセキュリティを強化する拡張を導入する。
PVFが様々なSAPとシームレスに統合できることを実証し、半正直でアクティブな敵の設定においてユーザのプライバシに脅威を与えないことを証明する。
我々は,SAPの異なるタイプを6ドルで含むベースラインを8ドルで選択し,これらのSAPに対するPVFの加速効果について検討する。
実証的な調査によると、$\lambda=100$のとき、PVFは99.5\times$スピードアップと$32.3\times$通信の削減を達成し、$\lambda$の増加とともに$000\times$アクセラレーションに近づく可能性がある。
関連論文リスト
- User-Level Differential Privacy With Few Examples Per User [73.81862394073308]
サンプルスカース方式では,各ユーザが少数のサンプルしか持たないため,以下の結果が得られる。
近似DPについては,任意の項目レベルDPアルゴリズムをユーザレベルDPアルゴリズムに汎用変換する。
ユーザレベル設定に指数的機構(McSherry, Talwar FOCS 2007)を適用するための簡単な手法を提案する。
論文 参考訳(メタデータ) (2023-09-21T21:51:55Z) - Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。
ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。
CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
論文 参考訳(メタデータ) (2023-04-09T04:36:24Z) - Non-reversible Parallel Tempering for Deep Posterior Approximation [26.431541203372113]
並列テンパリング(英: Parallel tempering、PT)は、マルチモーダル分布のシミュレーションのためのゴートワークホースである。
一般的な決定論的偶律(DEO)スキームは、非可逆性を利用して通信コストを$O(P2)$から$O(P)$に下げることに成功した。
我々は、非可逆性を促進するためのDECスキームを一般化し、幾何学的停止時間に起因するバイアスに対処するためのいくつかの解決策を提案する。
論文 参考訳(メタデータ) (2022-11-20T01:18:40Z) - Single SMPC Invocation DPHelmet: Differentially Private Distributed
Learning on a Large Scale [3.5598681716165808]
我々は,ベクトルマシン(SVM)をローカルにトレーニングし,その平均値を計算することで,多数のユーザに対してスケーラブルな学習技術を実現することを示す。
我々は、効率的なセキュアなマルチパーティプロトコルを1回だけ呼び出すことで、通信コストを低くする。
実験結果から,データポイントが50ドルである1,000ドルのユーザに対して,提案手法は最先端のスケーラブルな分散学習手法よりも優れていた。
論文 参考訳(メタデータ) (2022-11-03T17:16:20Z) - Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with
Probabilistically Triggered Arms or Independent Arms [53.89752069984382]
半帯域 (CMAB) について検討し, 半帯域 (CMAB) におけるバッチサイズ (K$) の依存性の低減に着目した。
まず,確率的に引き起こされるアーム(CMAB-T)を用いたCMABの設定に対して,分散を考慮した信頼区間を持つBCUCB-Tアルゴリズムを提案する。
次に,独立アームを用いた非トリガ型CMABの設定に対して,TPVM条件の非トリガ型を利用したSESCBアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-08-31T13:09:39Z) - Tight and Robust Private Mean Estimation with Few Users [16.22135057266913]
ユーザレベルの差分プライバシーに基づく高次元平均推定について検討する。
可能な限り少数のユーザを使って、$(eps,delta)$-differentially privateメカニズムを設計します。
論文 参考訳(メタデータ) (2021-10-22T16:02:21Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z) - Stochastic Shortest Path with Adversarially Changing Costs [57.90236104782219]
最短経路 (SSP) は計画と制御においてよく知られた問題である。
また, 時間とともにコストの逆変化を考慮に入れた逆SSPモデルを提案する。
我々は、この自然な逆SSPの設定を最初に検討し、それに対するサブ線形後悔を得る。
論文 参考訳(メタデータ) (2020-06-20T12:10:35Z) - Combinatorial Pure Exploration with Full-Bandit or Partial Linear
Feedback [18.29738891417779]
フルバンドフィードバック(CPE-BL)による純粋探索の問題点を最初に研究する。
CPE-BLでは、アクションのプル$x$は、$M_xtheta $を期待してランダムフィードバックベクトルを報告し、mathbbRd$の$M_xは、$x$の変換行列であり、$x$に関連するランダム(おそらく非線形)報酬を得る。
CPE-PLでは,限られたフィードバック,一般報酬関数,行動空間を同時に扱う最初のエムタイムアルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-06-14T13:59:59Z) - Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality [3.179831861897336]
既存のアプローチでは、$p=100s$以上の変数を持つ最適の主成分を供給できない。
凹凸混合整数半定値最適化問題としてスパースPCAを再構成することにより、証明可能な最適性に問題を解く切削平面法を設計する。
また,p=100$s,あるいはp=1,000$sの時間に,実際に1~2%のギャップを分単位で有界に与える凸緩和および欲求円周スキームを提案する。
論文 参考訳(メタデータ) (2020-05-11T15:39:23Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。