論文の概要: Hyper-parameter estimation method with particle swarm optimization

• arxiv url: http://arxiv.org/abs/2011.11944v2
• Date: Mon, 14 Dec 2020 04:16:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:18:00.091407
• Title: Hyper-parameter estimation method with particle swarm optimization
• Title（参考訳）: 粒子群最適化を用いたハイパーパラメータ推定法
• Authors: Yaru Li, Yulai Zhang
• Abstract要約: PSO法はハイパーパラメータ推定の問題では直接利用できない。 提案手法は,Swarm法を用いて取得関数の性能を最適化する。 いくつかの問題の結果が改善された。
• 参考スコア（独自算出の注目度）: 0.8883733362171032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Particle swarm optimization (PSO) method cannot be directly used in the problem of hyper-parameter estimation since the mathematical formulation of the mapping from hyper-parameters to loss function or generalization accuracy is unclear. Bayesian optimization (BO) framework is capable of converting the optimization of the hyper-parameters into the optimization of an acquisition function. The acquisition function is non-convex and multi-peak. So the problem can be better solved by the PSO. The proposed method in this paper uses the particle swarm method to optimize the acquisition function in the BO framework to get better hyper-parameters. The performances of proposed method in both of the classification and regression models are evaluated and demonstrated. The results on several benchmark problems are improved.
• Abstract（参考訳）: 粒子群最適化 (pso) 法は, 超パラメータから損失関数へのマッピングの数学的定式化や一般化精度が不明確であるため, ハイパーパラメータ推定では直接利用できない。 ベイズ最適化(BO)フレームワークは、ハイパーパラメータの最適化を取得関数の最適化に変換することができる。 取得関数は非凸かつマルチピークである。 したがって、この問題はPSOによってよりよく解決できる。 本稿では,boフレームワークにおける取得関数を最適化し,より優れたハイパーパラメータを得るために particle swarm 法を提案する。 分類モデルと回帰モデルの両方における提案手法の性能を評価し,実証した。 いくつかのベンチマーク問題の結果が改善された。

関連論文リスト

• How to Prove the Optimized Values of Hyperparameters for Particle Swarm Optimization? [0.0]
  本研究では,様々な適合関数の数学的モデルに基づいて,最適化された平均適合関数値(AFFV)を解析するフレームワークを提案する。 実験結果から,提案手法のパラメータ値は高効率収束と低いAFFVが得られることがわかった。
  論文  参考訳（メタデータ） (2023-02-01T00:33:35Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method [0.0]
  ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。 提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2022-08-25T14:25:16Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization [5.063728016437489]
  我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。 ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
  論文  参考訳（メタデータ） (2021-12-08T02:34:43Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• Online Hyperparameter Search Interleaved with Proximal Parameter Updates [9.543667840503739]
  本研究では,近似勾配法の構造に依存する手法を開発し,スムーズなコスト関数を必要としない。 そのような方法は、Leave-one-out (LOO)-validated LassoおよびGroup Lassoに適用される。 数値実験により,提案手法の収束度をLOO検証誤差曲線の局所最適値に相関させる。
  論文  参考訳（メタデータ） (2020-04-06T15:54:03Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。