論文の概要: Scalable Differentially Private Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2502.06044v1
• Date: Sun, 09 Feb 2025 21:49:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:09.182701
• Title: Scalable Differentially Private Bayesian Optimization
• Title（参考訳）: スケーラブルな微分プライベートベイズ最適化
• Authors: Getoar Sopa, Juraj Marusic, Marco Avella-Medina, John P. Cunningham,
• Abstract要約: 勾配インフォーマティブベイズ最適化を用いて,潜在的に高次元なパラメータ空間をプライベートに推定する手法を開発した。 理論的には, 最適条件下では, 最適パラメータ構成の周囲の球に指数関数的に収束する。 仮定が満たされているかどうかに関わらず、我々のアルゴリズムはプライバシを維持し、既存の手法よりも優れた性能を実証的に示すことを示す。
• 参考スコア（独自算出の注目度）: 17.28046301424826
• License:
• Abstract: In recent years, there has been much work on scaling Bayesian Optimization to high-dimensional problems, for example hyperparameter tuning in large neural network models. These scalable methods have been successful, finding high objective values much more quickly than traditional global Bayesian Optimization or random search-based methods. At the same time, these large neural network models often use sensitive data, but preservation of Differential Privacy has not scaled alongside these modern Bayesian Optimization procedures. Here we develop a method to privately estimate potentially high-dimensional parameter spaces using Gradient Informative Bayesian Optimization. Our theoretical results prove that under suitable conditions, our method converges exponentially fast to a ball around the optimal parameter configuration. Moreover, regardless of whether the assumptions are satisfied, we show that our algorithm maintains privacy and empirically demonstrates superior performance to existing methods in the high-dimensional hyperparameter setting.
• Abstract（参考訳）: 近年,大規模ニューラルネットワークモデルにおけるハイパーパラメータチューニングなど,ベイズ最適化を高次元問題に拡張する作業が数多く行われている。 これらの拡張性のある手法は成功しており、従来の大域的ベイズ最適化やランダム検索法よりもはるかに高速に高い客観的値を求めることができる。 同時に、これらの大きなニューラルネットワークモデルは、しばしばセンシティブなデータを使用するが、微分プライバシーの保存は、現代のベイズ最適化の手順と並行してスケールしていない。 ここでは、勾配インフォーマティブベイズ最適化を用いて、潜在的に高次元なパラメータ空間をプライベートに推定する手法を開発する。 理論的には, 最適条件下では, 最適パラメータ構成の周囲の球に指数関数的に収束する。 さらに,仮定が満たされているかどうかに関わらず,我々のアルゴリズムはプライバシを保ち,高次元ハイパーパラメータ設定において既存の手法よりも優れた性能を示すことを示す。

関連論文リスト

• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• A Survey on Multi-Objective based Parameter Optimization for Deep Learning [1.3223682837381137]
  深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。 これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-17T07:48:54Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Bayesian Variational Optimization for Combinatorial Spaces [0.0]
  幅広い応用としては、分子、タンパク質、DNA、デバイス構造、量子回路の設計などが挙げられる。 最適解や最適解を見つけるためには、圏空間上の最適化が不可欠である。 本稿では,変分最適化と連続緩和を組み合わせた変分ベイズ最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T20:56:13Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。