論文の概要: A Multi-objective Newton Optimization Algorithm for Hyper-Parameter Search

• arxiv url: http://arxiv.org/abs/2401.03580v1
• Date: Sun, 7 Jan 2024 21:12:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 18:15:27.789206
• Title: A Multi-objective Newton Optimization Algorithm for Hyper-Parameter Search
• Title（参考訳）: ハイパーパラメータ探索のための多目的ニュートン最適化アルゴリズム
• Authors: Qinwu Xu
• Abstract要約: このアルゴリズムを用いて畳み込みニューラルネットワークの多クラス物体検出問題に対する最適確率しきい値(8パラメータのベクトル)を探索する。 このアルゴリズムは、デフォルト値0.5に比べて総合的に高い真正(TP)と低い偽正(FP)率を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This study proposes a Newton based multiple objective optimization algorithm for hyperparameter search. The first order differential (gradient) is calculated using finite difference method and a gradient matrix with vectorization is formed for fast computation. The Newton Raphson iterative solution is used to update model parameters with iterations, and a regularization term is included to eliminate the singularity issue. The algorithm is applied to search the optimal probability threshold (a vector of eight parameters) for a multiclass object detection problem of a convolutional neural network. The algorithm quickly finds the improved parameter values to produce an overall higher true positive (TP) and lower false positive (FP) rates, as compared to using the default value of 0.5. In comparison, the Bayesian optimization generates lower performance in the testing case. However, the performance and parameter values may oscillate for some cases during iterations, which may be due to the data driven stochastic nature of the subject. Therefore, the optimal parameter value can be identified from a list of iteration steps according to the optimal TP and FP results.
• Abstract（参考訳）: 本研究では,ハイパーパラメータ探索のためのニュートン型多目的最適化アルゴリズムを提案する。 第1次微分(勾配)は有限差分法を用いて計算され、ベクトル化による勾配行列が高速に計算される。 ニュートン・ラフソン反復解は反復によるモデルパラメータの更新に使われ、特異点問題を排除するために正規化項を含む。 畳み込みニューラルネットワークの多クラス物体検出問題に対する最適な確率閾値(8パラメータのベクトル)を探索するためにアルゴリズムを適用する。 アルゴリズムは改良されたパラメータ値を見つけ出し、デフォルト値0.5の値と比較すると、全体的な高い真正(TP)と低い偽正(FP)率を生成する。 比較すると、ベイズ最適化はテストケースでの低い性能を生成する。 しかしながら、反復中にパフォーマンスとパラメータの値が振動する場合もあるが、これは主題のデータ駆動確率的性質によるものかもしれない。 したがって、最適パラメータ値は、最適TPとFPの結果に従って反復ステップのリストから特定することができる。

関連論文リスト

• Efficient Low-rank Identification via Accelerated Iteratively Reweighted Nuclear Norm Minimization [8.879403568685499]
  パラメータの平滑化に適応的な更新戦略を導入する。 この振る舞いは、アルゴリズムを数回繰り返した後に、効果的に問題を解決するものに変えます。 すべてのイテレーションが重要なものであることを保証し、グローバルに提案された実験を証明します。
  論文  参考訳（メタデータ） (2024-06-22T02:37:13Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Slowly Varying Regression under Sparsity [5.22980614912553]
  本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。 本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。 結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-22T04:51:44Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Parameters for the best convergence of an optimization algorithm On-The-Fly [0.0]
  この研究は、5つの異なるアルゴリズムを異なる目的関数でテストする実験的な概念で行われた。 正しいパラメータを見つけるために、"on-the-fly"と呼ばれる手法が適用された。
  論文  参考訳（メタデータ） (2020-09-23T21:38:28Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Weighted Random Search for Hyperparameter Optimization [0.0]
  本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。 我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。 同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-04-03T15:41:22Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。