論文の概要: CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization

• arxiv url: http://arxiv.org/abs/2212.06150v1
• Date: Sun, 11 Dec 2022 07:46:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 15:15:22.608937
• Title: CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization
• Title（参考訳）: CPMLHO:カット平面によるハイパーパラメータチューニングと混合レベル最適化
• Authors: Shuo Yang, Yang Jiao, Shaoyu Dou, Mana Zheng, Chen Zhu
• Abstract要約: CPMLHOは切削平面法と混合レベル目的関数を用いた新しいハイパーパラメータ最適化法である。 既存の手法と比較して,本手法はトレーニングプロセスのハイパーパラメータを自動的に更新することができる。
• 参考スコア（独自算出の注目度）: 24.39326333982495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The hyperparameter optimization of neural network can be expressed as a bilevel optimization problem. The bilevel optimization is used to automatically update the hyperparameter, and the gradient of the hyperparameter is the approximate gradient based on the best response function. Finding the best response function is very time consuming. In this paper we propose CPMLHO, a new hyperparameter optimization method using cutting plane method and mixed-level objective function.The cutting plane is added to the inner layer to constrain the space of the response function. To obtain more accurate hypergradient,the mixed-level can flexibly adjust the loss function by using the loss of the training set and the verification set. Compared to existing methods, the experimental results show that our method can automatically update the hyperparameters in the training process, and can find more superior hyperparameters with higher accuracy and faster convergence.
• Abstract（参考訳）: ニューラルネットワークのハイパーパラメータ最適化は、双レベル最適化問題として表現できる。 バイレベル最適化はハイパーパラメータの自動更新に使用され、ハイパーパラメータの勾配は最良応答関数に基づく近似勾配である。 最高の応答関数を見つけるのは非常に時間がかかる。 本稿では,カット平面法と混合レベル目的関数を用いた新しいハイパーパラメータ最適化手法CPMLHOを提案する。 より高精度な超勾配を得るためには、訓練セットの損失と検証セットを用いて、混合レベルが柔軟に損失関数を調整することができる。 既存の手法と比較して,本手法はトレーニングプロセスのハイパーパラメータを自動的に更新でき,より高精度でより高速なコンバージェンスでより優れたハイパーパラメータを探索できることを示す。

関連論文リスト

• Enhancing Hypergradients Estimation: A Study of Preconditioning and Reparameterization [49.73341101297818]
  双レベル最適化は、内部最適化問題の解に依存する外的目的関数を最適化することを目的としている。 外部問題の過次性を計算する従来の方法は、Implicit Function Theorem (IFT) を使うことである。 IFT法の誤差について検討し,この誤差を低減するための2つの手法を解析した。
  論文  参考訳（メタデータ） (2024-02-26T17:09:18Z)
• Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
  本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。 本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
  論文  参考訳（メタデータ） (2023-02-06T23:39:13Z)
• A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method [0.0]
  ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。 提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2022-08-25T14:25:16Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
  勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。 知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
  論文  参考訳（メタデータ） (2021-10-06T05:14:53Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning [0.0]
  本稿では,ハイパーパラメータ最適化問題の解法として,二段階解法を提案する。 提案手法は汎用的で,任意の種類の機械学習アルゴリズムに容易に適用可能である。 提案アルゴリズムの背景にある理論を議論し、2つのデータセットについて広範な計算研究を行う。
  論文  参考訳（メタデータ） (2020-07-21T18:15:08Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。