論文の概要: Weighted Random Search for Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2004.01628v1
• Date: Fri, 3 Apr 2020 15:41:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 04:01:40.011289
• Title: Weighted Random Search for Hyperparameter Optimization
• Title（参考訳）: ハイパーパラメータ最適化のための重み付きランダム探索
• Authors: Adrian-Catalin Florea, Razvan Andonie
• Abstract要約: 本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。 我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。 同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce an improved version of Random Search (RS), used here for hyperparameter optimization of machine learning algorithms. Unlike the standard RS, which generates for each trial new values for all hyperparameters, we generate new values for each hyperparameter with a probability of change. The intuition behind our approach is that a value that already triggered a good result is a good candidate for the next step, and should be tested in new combinations of hyperparameter values. Within the same computational budget, our method yields better results than the standard RS. Our theoretical results prove this statement. We test our method on a variation of one of the most commonly used objective function for this class of problems (the Grievank function) and for the hyperparameter optimization of a deep learning CNN architecture. Our results can be generalized to any optimization problem defined on a discrete domain.
• Abstract（参考訳）: 本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるランダム検索(RS)の改良版を紹介する。 すべてのハイパーパラメータに対して新しい値を生成する標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。 このアプローチの背後にある直感は、すでに良い結果をもたらした値が次のステップのよい候補であり、新しいハイパーパラメータ値の組み合わせでテストされるべきである、ということです。 同じ計算予算内で、我々の手法は標準RSよりも優れた結果が得られる。 私たちの理論的結果はこの主張を証明します。 本稿では,この問題のクラス(Grievank関数)と,ディープラーニングCNNアーキテクチャのハイパーパラメータ最適化のために,最もよく使用される目的関数のバリエーションについて検証する。 この結果は離散領域上で定義された任意の最適化問題に一般化することができる。

関連論文リスト

• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• A Multi-objective Newton Optimization Algorithm for Hyper-Parameter Search [0.0]
  このアルゴリズムを用いて畳み込みニューラルネットワークの多クラス物体検出問題に対する最適確率しきい値(8パラメータのベクトル)を探索する。 このアルゴリズムは、デフォルト値0.5に比べて総合的に高い真正(TP)と低い偽正(FP)率を生成する。
  論文  参考訳（メタデータ） (2024-01-07T21:12:34Z)
• A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method [0.0]
  ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。 提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2022-08-25T14:25:16Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)
• Weighted Random Search for CNN Hyperparameter Optimization [0.0]
  本稿では、ランダム探索(RS)と確率的欲求を組み合わせた重み付きランダム探索(WRS)手法を提案する。 基準は、ハイパーパラメーター値の試験された組み合わせの同じ数内で達成される分類精度である。 我々の実験によると、WRSアルゴリズムは他の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T09:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。