論文の概要: Private Model Personalization Revisited

• arxiv url: http://arxiv.org/abs/2506.19220v1
• Date: Tue, 24 Jun 2025 00:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.426973
• Title: Private Model Personalization Revisited
• Title（参考訳）: 個人モデルパーソナライゼーションの再検討
• Authors: Conor Snedeker, Xinyu Zhou, Raef Bassily,
• Abstract要約: 共有表現フレームワークにおけるユーザレベルの差分プライバシー(DP)に基づくモデルパーソナライゼーションについて検討する。 我々のゴールは、共有埋め込みと局所的な低次元表現を極小リスクでプライベートに回収することである。 共有埋め込みをプライベートに学習し、マージンベースの精度保証を導出するための情報理論構築を提案する。
• 参考スコア（独自算出の注目度）: 13.4143747448136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study model personalization under user-level differential privacy (DP) in the shared representation framework. In this problem, there are $n$ users whose data is statistically heterogeneous, and their optimal parameters share an unknown embedding $U^* \in\mathbb{R}^{d\times k}$ that maps the user parameters in $\mathbb{R}^d$ to low-dimensional representations in $\mathbb{R}^k$, where $k\ll d$. Our goal is to privately recover the shared embedding and the local low-dimensional representations with small excess risk in the federated setting. We propose a private, efficient federated learning algorithm to learn the shared embedding based on the FedRep algorithm in [CHM+21]. Unlike [CHM+21], our algorithm satisfies differential privacy, and our results hold for the case of noisy labels. In contrast to prior work on private model personalization [JRS+21], our utility guarantees hold under a larger class of users' distributions (sub-Gaussian instead of Gaussian distributions). Additionally, in natural parameter regimes, we improve the privacy error term in [JRS+21] by a factor of $\widetilde{O}(dk)$. Next, we consider the binary classification setting. We present an information-theoretic construction to privately learn the shared embedding and derive a margin-based accuracy guarantee that is independent of $d$. Our method utilizes the Johnson-Lindenstrauss transform to reduce the effective dimensions of the shared embedding and the users' data. This result shows that dimension-independent risk bounds are possible in this setting under a margin loss.
• Abstract（参考訳）: 共有表現フレームワークにおけるユーザレベルの差分プライバシー(DP)に基づくモデルパーソナライゼーションについて検討する。 この問題では、統計的に不均一なデータを持つ$n$ユーザが存在し、それらの最適なパラメータは未知の埋め込みを持つ$U^* \in\mathbb{R}^{d\times k}$を共有し、$\mathbb{R}^d$のユーザパラメータを$\mathbb{R}^k$の低次元表現にマッピングする。 我々のゴールは、フェデレートされた環境において、共有埋め込みと局所的な低次元表現を小さな過剰なリスクでプライベートに回収することである。 本稿では,[CHM+21]におけるFedRepアルゴリズムに基づいて,共有埋め込みを学習するための,プライベートで効率的なフェデレーション学習アルゴリズムを提案する。 我々のアルゴリズムは[CHM+21]と異なり、差分プライバシーを満足しており、ノイズラベルの場合、その結果が成り立つ。 個人モデルパーソナライズ [JRS+21] に関する以前の研究とは対照的に,我々のユーティリティ保証は,より大規模なユーザ分布(ガウス分布ではなくガウス分布)の下で保持される。 さらに、自然パラメータ規則では、[JRS+21]のプライバシーエラー項を$\widetilde{O}(dk)$の係数で改善する。 次に、二項分類の設定について考察する。 共有埋め込みをプライベートに学習し、$d$に依存しないマージンベースの精度保証を導出するための情報理論構築を提案する。 提案手法は,Johnson-Lindenstrauss変換を用いて,共有埋め込みとユーザデータの有効次元を削減する。 この結果から, この条件下では, 次元に依存しないリスク境界が可能であることが示唆された。

関連論文リスト

• Optimized Tradeoffs for Private Prediction with Majority Ensembling [59.99331405291337]
  本稿では,データ依存型ランダム化応答行列(DaRRM)アルゴリズムを提案する。 DaRRMはデータ依存ノイズ関数$gamma$でパラメータ化され、全てのプライベートアルゴリズムのクラスに対して効率的なユーティリティ最適化を可能にする。 本稿では,DARRMが共通ベースラインよりも2倍のプライバシゲインを,固定ユーティリティで確実に享受していることを示す。
  論文  参考訳（メタデータ） (2024-11-27T00:48:48Z)
• Share Your Representation Only: Guaranteed Improvement of the Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
  この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。 本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。 同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
  論文  参考訳（メタデータ） (2023-09-11T14:46:55Z)
• General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean Estimation [58.03500081540042]
  プライベート平均推定に対する古典的なアプローチは、真の平均を計算し、バイアスのないがおそらく相関のあるガウスノイズを加えることである。 すべての入力データセットに対して、集中的な差分プライバシーを満たす非バイアス平均推定器が、少なくとも多くのエラーをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:47:42Z)
• Smooth Anonymity for Sparse Graphs [69.1048938123063]
  しかし、スパースデータセットを共有するという点では、差分プライバシーがプライバシのゴールドスタンダードとして浮上している。 本研究では、スムーズな$k$匿名性(スムーズな$k$匿名性)と、スムーズな$k$匿名性(スムーズな$k$匿名性)を提供する単純な大規模アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-07-13T17:09:25Z)
• Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
  差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。 私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。 私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
  論文  参考訳（メタデータ） (2022-05-25T16:46:01Z)
• Tight and Robust Private Mean Estimation with Few Users [16.22135057266913]
  ユーザレベルの差分プライバシーに基づく高次元平均推定について検討する。 可能な限り少数のユーザを使って、$(eps,delta)$-differentially privateメカニズムを設計します。
  論文  参考訳（メタデータ） (2021-10-22T16:02:21Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。