論文の概要: DP-HYPE: Distributed Differentially Private Hyperparameter Search

• arxiv url: http://arxiv.org/abs/2510.04902v2
• Date: Tue, 07 Oct 2025 07:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 13:19:51.497307
• Title: DP-HYPE: Distributed Differentially Private Hyperparameter Search
• Title（参考訳）: DP-HYPE:分散微分プライベートハイパーパラメータサーチ
• Authors: Johannes Liebenow, Thorsten Peinemann, Esfandiar Mohammadi,
• Abstract要約: DP-HYPEは,クライアントレベルの差分プライバシーという,差分プライバシーという強い概念を保っていることを示す。 我々はまた、その実用性保証、すなわち妥協に達する可能性の限界も提供します。
• 参考スコア（独自算出の注目度）: 2.778533469495935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The tuning of hyperparameters in distributed machine learning can substantially impact model performance. When the hyperparameters are tuned on sensitive data, privacy becomes an important challenge and to this end, differential privacy has emerged as the de facto standard for provable privacy. A standard setting when performing distributed learning tasks is that clients agree on a shared setup, i.e., find a compromise from a set of hyperparameters, like the learning rate of the model to be trained. Yet, prior work on differentially private hyperparameter tuning either uses computationally expensive cryptographic protocols, determines hyperparameters separately for each client, or applies differential privacy locally, which can lead to undesirable utility-privacy trade-offs. In this work, we present our algorithm DP-HYPE, which performs a distributed and privacy-preserving hyperparameter search by conducting a distributed voting based on local hyperparameter evaluations of clients. In this way, DP-HYPE selects hyperparameters that lead to a compromise supported by the majority of clients, while maintaining scalability and independence from specific learning tasks. We prove that DP-HYPE preserves the strong notion of differential privacy called client-level differential privacy and, importantly, show that its privacy guarantees do not depend on the number of hyperparameters. We also provide bounds on its utility guarantees, that is, the probability of reaching a compromise, and implement DP-HYPE as a submodule in the popular Flower framework for distributed machine learning. In addition, we evaluate performance on multiple benchmark data sets in iid as well as multiple non-iid settings and demonstrate high utility of DP-HYPE even under small privacy budgets.
• Abstract（参考訳）: 分散機械学習におけるハイパーパラメータのチューニングは、モデルの性能に大きな影響を与える。 ハイパーパラメータが機密データに基づいて調整されると、プライバシは重要な課題となり、この目的のために、異なるプライバシが証明可能なプライバシのデファクトスタンダードとして現れます。 分散学習タスクを実行する際の標準的な設定は、クライアントが共有された設定、すなわちトレーニング対象モデルの学習率など、一連のハイパーパラメータから妥協点を見つけることである。 しかし、ディファレンシャルプライベートなハイパーパラメータチューニングの以前の作業では、計算コストのかかる暗号プロトコルを使用しており、クライアント毎に個別にハイパーパラメータを決定するか、あるいはローカルにディファレンシャルプライバシを適用しているため、望ましくないユーティリティとプライバシのトレードオフにつながる可能性がある。 本研究では,クライアントの局所的ハイパーパラメータ評価に基づく分散投票を行うことにより,分散・プライバシ保護型ハイパーパラメータ探索を行うDP-HYPEを提案する。 このようにして、DP-HYPEは、スケーラビリティと特定の学習タスクからの独立性を維持しながら、大部分のクライアントが支持する妥協につながるハイパーパラメータを選択する。 DP-HYPEは、クライアントレベルの差分プライバシーという強力なプライバシー概念を保ち、そのプライバシー保証がハイパーパラメータの数に依存しないことを示す。 また,分散機械学習フレームワークであるFlowerのサブモジュールとしてDP-HYPEを実装した。 さらに,iidにおける複数のベンチマークデータセットと複数の非ID設定の性能評価を行い,プライバシー予算の小さい場合においてもDP-HYPEの有効性を示す。

関連論文リスト

• Machine Learning with Privacy for Protected Attributes [56.44253915927481]
  差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。 私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。 各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T17:53:28Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
  本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。 ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
  論文  参考訳（メタデータ） (2024-06-05T17:41:42Z)
• DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework [31.628466186344582]
  適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。 フレームワークの総合的な差分プライバシー分析を提供する。 本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-09T07:55:46Z)
• A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
  本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。 我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2022-12-08T18:56:37Z)
• Revisiting Hyperparameter Tuning with Differential Privacy [2.089340709037618]
  我々は、差分プライバシーを持つプライバシー保護機械学習のためのフレームワークを提供する。 我々は、超パラメータチューニングによって引き起こされる追加のプライバシー損失が、得られたユーティリティの平方根によって上界にあることを示す。 追加のプライバシー損失は、実用用語の対数の平方根のように経験的にスケールし、二重化ステップの設計の恩恵を受けることに留意する。
  論文  参考訳（メタデータ） (2022-11-03T14:42:19Z)
• Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
  我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。 本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2022-09-08T22:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。