論文の概要: (Amplified) Banded Matrix Factorization: A unified approach to private training

• arxiv url: http://arxiv.org/abs/2306.08153v2
• Date: Thu, 2 Nov 2023 03:15:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 17:19:50.903484
• Title: (Amplified) Banded Matrix Factorization: A unified approach to private training
• Title（参考訳）: (増幅)Banded Matrix Factorization:プライベートトレーニングへの統一的アプローチ
• Authors: Christopher A. Choquette-Choo, Arun Ganesh, Ryan McKenna, H. Brendan McMahan, Keith Rush, Abhradeep Thakurta, and Zheng Xu
• Abstract要約: 差分プライバシ(DP)のための行列分解(MF)機構は、MLアプリケーションにおけるプライバシ・ユーティリティ・コンピューティングトレードオフの最先端性を大幅に改善した。 フェデレーションおよび集中型トレーニング設定の両方において、MFが先行技術アルゴリズムをサブスクライブする方法を示す。
• 参考スコア（独自算出の注目度）: 15.922315074913255
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Matrix factorization (MF) mechanisms for differential privacy (DP) have substantially improved the state-of-the-art in privacy-utility-computation tradeoffs for ML applications in a variety of scenarios, but in both the centralized and federated settings there remain instances where either MF cannot be easily applied, or other algorithms provide better tradeoffs (typically, as $\epsilon$ becomes small). In this work, we show how MF can subsume prior state-of-the-art algorithms in both federated and centralized training settings, across all privacy budgets. The key technique throughout is the construction of MF mechanisms with banded matrices (lower-triangular matrices with at most $\hat{b}$ nonzero bands including the main diagonal). For cross-device federated learning (FL), this enables multiple-participations with a relaxed device participation schema compatible with practical FL infrastructure (as demonstrated by a production deployment). In the centralized setting, we prove that banded matrices enjoy the same privacy amplification results as the ubiquitous DP-SGD algorithm, but can provide strictly better performance in most scenarios -- this lets us always at least match DP-SGD, and often outperform it.
• Abstract（参考訳）: 差分プライバシ(DP)のための行列分解(MF)メカニズムは、さまざまなシナリオでMLアプリケーションのプライバシ・ユーティリティ・コンピューティングトレードオフの最先端性を大幅に改善しましたが、集中型とフェデレーション型の両方の設定では、MFが簡単に適用できない場合や、他のアルゴリズムがよりよいトレードオフを提供する場合があります(通常、$\epsilon$が小さくなるにつれて)。 本稿では,mfが,すべてのプライバシ予算にまたがって,フェデレーショントレーニングと集中トレーニングの両方において,事前の最先端アルゴリズムをどのように組み込むかを示す。 鍵となる技術は、帯状行列を持つMF機構(主対角線を含む少なくとも$\hat{b}=非零バンドを持つより低い三角形行列)の構築である。 クロスデバイスフェデレーション学習(fl)では、実際のflインフラストラクチャと互換性のある、緩和されたデバイス参加スキーマによる複数参加が可能になる。 集中的な設定では、バンド化された行列がユビキタスDP-SGDアルゴリズムと同じプライバシー増幅結果を楽しむが、ほとんどのシナリオで厳格に優れたパフォーマンスを提供できることを証明します。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• A Hassle-free Algorithm for Private Learning in Practice: Don't Use Tree Aggregation, Use BLTs [4.736297244235246]
  本稿では,最近導入されたBuffered Linear Toeplitz (BLT) メカニズムをマルチ参加シナリオに拡張する。 我々のBLT-DP-FTRLは、木集約の使いやすさを維持しつつ、実用性とプライバシの観点から行列の分解にほぼ一致する。
  論文  参考訳（メタデータ） (2024-08-16T17:52:22Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• Privacy Amplification for Matrix Mechanisms [18.13715687378337]
  MMCCは、一般的な行列機構のサンプリングにより、プライバシの増幅を分析する最初のアルゴリズムである。 標準ベンチマークにおけるDP-FTRLアルゴリズムのプライバシ・ユーティリティトレードオフが大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2023-10-24T05:16:52Z)
• Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning [18.55306294638515]
  本稿では,複数のパス(エポック)をデータセット上に配置した計算ベース機械学習(ML)のための新たなDP機構を提案する。 適応ストリームに複数参加するDP機構の問題を形式化し、オンライン行列分解DP機構の非自明な拡張を導入する。
  論文  参考訳（メタデータ） (2022-11-12T00:41:11Z)
• Late Fusion Multi-view Clustering via Global and Local Alignment Maximization [61.89218392703043]
  マルチビュークラスタリング(MVC)は、異なるビューからの補完情報を最適に統合し、クラスタリング性能を改善する。 既存のアプローチの多くは、クラスタリングに最適な類似性行列を学ぶために、複数の事前定義された類似性を直接融合する。 これらの問題に対処するために、アライメントを通してレイトフュージョンMVCを提案する。
  論文  参考訳（メタデータ） (2022-08-02T01:49:31Z)
• Improved Matrix Gaussian Mechanism for Differential Privacy [29.865497421453917]
  差分プライバシー(DP)メカニズムは、従来のスカラー値ではなく、行列のような構造データのために開発されている。 本研究は,行列値DPのための改良行列ガウス機構 (IMGM) を提案し,その必要十分条件を$(varepsilon,delta) $-differential privacy とした。 行列値DPの正規ノイズ分布のうち、最適ノイズ分布はi.i.dであることが判明した。 さまざまなモデルとデータセットに関する実験も、IMGMが同じプライバシー保証で最先端のメカニズムよりもはるかに高い有用性をもたらすことを検証しています。
  論文  参考訳（メタデータ） (2021-04-30T07:44:53Z)
• Self-supervised Symmetric Nonnegative Matrix Factorization [82.59905231819685]
  シンメトリー非負係数行列(SNMF)は、データクラスタリングの強力な方法であることを示した。 より良いクラスタリング結果を求めるアンサンブルクラスタリングにインスパイアされた,自己監視型SNMF(S$3$NMF)を提案する。 SNMFのコード特性に対する感度を、追加情報に頼らずに活用しています。
  論文  参考訳（メタデータ） (2021-03-02T12:47:40Z)
• Positive Semidefinite Matrix Factorization: A Connection with Phase Retrieval and Affine Rank Minimization [71.57324258813674]
  位相探索(PR)とアフィンランク最小化(ARM)アルゴリズムに基づいてPSDMFアルゴリズムを設計可能であることを示す。 このアイデアに触発され、反復的ハードしきい値(IHT)に基づくPSDMFアルゴリズムの新たなファミリーを導入する。
  論文  参考訳（メタデータ） (2020-07-24T06:10:19Z)
• A High-Performance Implementation of Bayesian Matrix Factorization with Limited Communication [10.639704288188767]
  行列分解アルゴリズムは予測の不確実性を定量化し、過度な適合を避けることができる。 計算コストが禁じられているため、大規模なデータには広く使われていない。 スケーラビリティに対する両アプローチの最先端が組み合わさることを示します。
  論文  参考訳（メタデータ） (2020-04-06T11:16:30Z)
• Meta Matrix Factorization for Federated Rating Predictions [84.69112252208468]
  フェデレートされたレコメンデーターシステムは、従来のレコメンデーターシステムよりもプライバシー保護という点で明確なアドバンテージを持っている。 フェデレートされたレコメンデータシステムに関するこれまでの研究は、モバイル環境におけるストレージ、RAM、エネルギ、通信帯域の制限を十分に考慮していない。 本研究の目的は,モバイル環境を対象としたレーティング予測(RP)のための新しい統合学習フレームワークを設計することである。
  論文  参考訳（メタデータ） (2019-10-22T16:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。