論文の概要: The Role of Adaptive Optimizers for Honest Private Hyperparameter Selection

• arxiv url: http://arxiv.org/abs/2111.04906v1
• Date: Tue, 9 Nov 2021 01:56:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 15:11:53.160295
• Title: The Role of Adaptive Optimizers for Honest Private Hyperparameter Selection
• Title（参考訳）: 正直なプライベートハイパーパラメータ選択における適応オプティマイザの役割
• Authors: Shubhankar Mohapatra, Sajin Sasy, Xi He, Gautam Kamath, Om Thakkar
• Abstract要約: 標準合成ツールは、多くの設定において、より高度な技術よりも優れていることを示す。 我々は、新しいより効率的なツールを設計するために、DP設定におけるAdamの制限的な振る舞いを描きます。
• 参考スコア（独自算出の注目度）: 12.38071940409141
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization is a ubiquitous challenge in machine learning, and the performance of a trained model depends crucially upon their effective selection. While a rich set of tools exist for this purpose, there are currently no practical hyperparameter selection methods under the constraint of differential privacy (DP). We study honest hyperparameter selection for differentially private machine learning, in which the process of hyperparameter tuning is accounted for in the overall privacy budget. To this end, we i) show that standard composition tools outperform more advanced techniques in many settings, ii) empirically and theoretically demonstrate an intrinsic connection between the learning rate and clipping norm hyperparameters, iii) show that adaptive optimizers like DPAdam enjoy a significant advantage in the process of honest hyperparameter tuning, and iv) draw upon novel limiting behaviour of Adam in the DP setting to design a new and more efficient optimizer.
• Abstract（参考訳）: ハイパーパラメータ最適化は機械学習におけるユビキタスな課題であり、トレーニングされたモデルのパフォーマンスは、有効選択に大きく依存する。 この目的のために豊富なツールセットが存在するが、現在、差分プライバシー(DP)の制約の下で、実用的なハイパーパラメータ選択方法はない。 本稿では,高パラメータチューニングのプロセスがプライバシー予算全体において考慮される,微分プライベート機械学習のための正直なハイパーパラメータ選択について検討する。 この目的のためには 一 標準構成ツールは、多くの設定において、より高度な技術を上回ることを示せ。 二 学習率と校正基準ハイパーパラメータとの本質的な関係を実証的及び理論的に示すこと。 iii)dpadamのような適応オプティマイザは、正直なハイパーパラメータチューニングの過程で大きな利点を享受していることを示し、 iv) 新しい効率的な最適化器を設計するために, dp 設定における adam の新たな制限挙動を引き出す。

関連論文リスト

• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Optimal Hyperparameter $\epsilon$ for Adaptive Stochastic Optimizers through Gradient Histograms [0.8702432681310399]
  属性適応を解析・正当化するための勾配ヒストグラムに基づく新しいフレームワークを提案する。 そこで本稿では,セーフガード係数$epsilon$に対する縮小された正確な探索空間を自動的に推定する,勾配ヒストグラムに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework [31.628466186344582]
  適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。 フレームワークの総合的な差分プライバシー分析を提供する。 本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-09T07:55:46Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Automatic prior selection for meta Bayesian optimization with a case study on tuning deep neural network optimizers [47.013395100497775]
  このような高価なハイパーパラメータチューニング問題を効率的に解くための原理的アプローチを提案する。 BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。 我々は、一般的な画像やテキストデータセット上で、最先端に近いモデルの何万もの設定をトレーニングすることで、現実的なモデルトレーニング設定におけるアプローチを検証する。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。