論文の概要: Efficient hyperparameter optimization by way of PAC-Bayes bound minimization

• arxiv url: http://arxiv.org/abs/2008.06431v1
• Date: Fri, 14 Aug 2020 15:54:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 16:53:37.911156
• Title: Efficient hyperparameter optimization by way of PAC-Bayes bound minimization
• Title（参考訳）: PAC-Bayes境界最小化による高パラメータ最適化
• Authors: John J. Cherian, Andrew G. Taube, Robert T. McGibbon, Panagiotis Angelikopoulos, Guy Blanc, Michael Snarski, Daniel D. Richman, John L. Klepeis, David E. Shaw
• Abstract要約: 本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
• 参考スコア（独自算出の注目度）: 4.191847852775072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Identifying optimal values for a high-dimensional set of hyperparameters is a problem that has received growing attention given its importance to large-scale machine learning applications such as neural architecture search. Recently developed optimization methods can be used to select thousands or even millions of hyperparameters. Such methods often yield overfit models, however, leading to poor performance on unseen data. We argue that this overfitting results from using the standard hyperparameter optimization objective function. Here we present an alternative objective that is equivalent to a Probably Approximately Correct-Bayes (PAC-Bayes) bound on the expected out-of-sample error. We then devise an efficient gradient-based algorithm to minimize this objective; the proposed method has asymptotic space and time complexity equal to or better than other gradient-based hyperparameter optimization methods. We show that this new method significantly reduces out-of-sample error when applied to hyperparameter optimization problems known to be prone to overfitting.
• Abstract（参考訳）: ハイパーパラメータの高次元集合に対する最適値の同定は、ニューラルネットワーク探索のような大規模機械学習アプリケーションの重要性から、注目を集めている問題である。 最近開発された最適化手法は数千から数百万のハイパーパラメータを選択できる。 しかし、そのような手法はしばしば過剰フィットモデルをもたらすため、見当たらないデータでは性能が低下する。 このオーバーフィッティングは、標準のハイパーパラメータ最適化目的関数を使用することによって得られると我々は主張する。 ここでは,期待外誤差に依存する確率的近似ベイズ(PAC-Bayes)と等価な別の目的を示す。 提案手法は他の勾配に基づくハイパーパラメータ最適化法と同等かそれ以上かそれ以上の漸近的空間と時間複雑性を有する。 本手法は,過度に適合しがちな過度パラメータ最適化問題に適用した場合,サンプル外誤差を著しく低減することを示す。

関連論文リスト

• HomOpt: A Homotopy-Based Hyperparameter Optimization Method [10.11271414863925]
  一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。 本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
  論文  参考訳（メタデータ） (2023-08-07T06:01:50Z)
• A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method [0.0]
  ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。 提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2022-08-25T14:25:16Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
  勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。 知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
  論文  参考訳（メタデータ） (2021-10-06T05:14:53Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Hyper-parameter estimation method with particle swarm optimization [0.8883733362171032]
  PSO法はハイパーパラメータ推定の問題では直接利用できない。 提案手法は,Swarm法を用いて取得関数の性能を最適化する。 いくつかの問題の結果が改善された。
  論文  参考訳（メタデータ） (2020-11-24T07:51:51Z)
• A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning [0.0]
  本稿では,ハイパーパラメータ最適化問題の解法として,二段階解法を提案する。 提案手法は汎用的で,任意の種類の機械学習アルゴリズムに容易に適用可能である。 提案アルゴリズムの背景にある理論を議論し、2つのデータセットについて広範な計算研究を行う。
  論文  参考訳（メタデータ） (2020-07-21T18:15:08Z)
• Online Hyperparameter Search Interleaved with Proximal Parameter Updates [9.543667840503739]
  本研究では,近似勾配法の構造に依存する手法を開発し,スムーズなコスト関数を必要としない。 そのような方法は、Leave-one-out (LOO)-validated LassoおよびGroup Lassoに適用される。 数値実験により,提案手法の収束度をLOO検証誤差曲線の局所最適値に相関させる。
  論文  参考訳（メタデータ） (2020-04-06T15:54:03Z)
• Cross Entropy Hyperparameter Optimization for Constrained Problem Hamiltonians Applied to QAOA [68.11912614360878]
  QAOA(Quantum Approximate Optimization Algorithm)のようなハイブリッド量子古典アルゴリズムは、短期量子コンピュータを実用的に活用するための最も奨励的なアプローチの1つである。 このようなアルゴリズムは通常変分形式で実装され、古典的な最適化法と量子機械を組み合わせて最適化問題の優れた解を求める。 本研究では,クロスエントロピー法を用いてランドスケープを形作り,古典的パラメータがより容易により良いパラメータを発見でき,その結果,性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-03-11T13:52:41Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。