論文の概要: Hyperparameter Optimization Is Deceiving Us, and How to Stop It

• arxiv url: http://arxiv.org/abs/2102.03034v1
• Date: Fri, 5 Feb 2021 07:30:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-08 23:53:40.641971
• Title: Hyperparameter Optimization Is Deceiving Us, and How to Stop It
• Title（参考訳）: ハイパーパラメータ最適化は私たちを欺き、それを止める方法
• Authors: A. Feder Cooper and Yucheng Lu and Christopher De Sa
• Abstract要約: 探索に対するハイパーパラメータ部分空間の選択に基づく不整合性能は,ML研究において広く行われている問題であることを示す。 我々はこの問題を解析的に特徴付け、ハイパーパラメータ偽装(hyper parameter deception)と呼び、グリッド探索が本質的に偽装であることを示す。 我々は詐欺に対する保証をもって防衛を証明し、実際は防衛を実証する。
• 参考スコア（独自算出の注目度）: 38.109793771115726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While hyperparameter optimization (HPO) is known to greatly impact learning algorithm performance, it is often treated as an empirical afterthought. Recent empirical works have highlighted the risk of this second-rate treatment of HPO. They show that inconsistent performance results, based on choice of hyperparameter subspace to search, are a widespread problem in ML research. When comparing two algorithms, J and K searching one subspace can yield the conclusion that J outperforms K, whereas searching another can entail the opposite result. In short, your choice of hyperparameters can deceive you. We provide a theoretical complement to this prior work: We analytically characterize this problem, which we term hyperparameter deception, and show that grid search is inherently deceptive. We prove a defense with guarantees against deception, and demonstrate a defense in practice.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は学習アルゴリズムのパフォーマンスに大きく影響することが知られているが、しばしば経験的な後発として扱われる。 最近の実証研究は、HPOの第2級治療のリスクを強調している。 彼らは、探索するハイパーパラメータサブスペースの選択に基づく一貫性のないパフォーマンスの結果が、ML研究における広範な問題であることを示している。 2つのアルゴリズムを比較するとき、J と K が1つの部分空間を探索すると、J が K より優れているという結論が得られる。 要するに、ハイパーパラメータの選択はあなたを欺くことができます。 我々は、この問題を解析的に特徴付け、超パラメータ偽装(hyperparameter deception)と呼び、グリッド探索が本質的に偽造であることを示す。 我々は、偽装に対する保証をもって防御を証明し、実際に防御を示す。

関連論文リスト

• Hyperparameter Optimization Can Even be Harmful in Off-Policy Learning and How to Deal with It [20.312864152544954]
  我々は,HPOのサロゲート目的として一般化性能の非バイアス推定器を鼻で適用すると,予期せぬ故障が生じることを示した。 本稿では,上記の課題を同時に扱うために,一般的なHPO手順に対する単純で効率的な補正法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T14:34:16Z)
• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• HyperTime: Hyperparameter Optimization for Combating Temporal Distribution Shifts [26.205660967039087]
  我々は、時系列検証セットに対する平均検証損失と最悪の検証損失に対して、レキソグラフィー優先順序を用いる。 本稿では,時間分布シフトを伴う複数の機械学習タスクにおいて,提案手法の強い経験的性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T19:41:23Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• HyperNP: Interactive Visual Exploration of Multidimensional Projection Hyperparameters [61.354362652006834]
  HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。 我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
  論文  参考訳（メタデータ） (2021-06-25T17:28:14Z)
• An Empirical Study on Hyperparameter Optimization for Fine-Tuning Pre-trained Language Models [10.599060942412144]
  GLUEデータセット上で2つの最先端言語モデルを微調整したHPOアルゴリズムの性能について検討・報告する。 同じ時間予算で、HPOは2つの理由でグリッド検索を上回りません。
  論文  参考訳（メタデータ） (2021-06-17T01:58:32Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning [7.559006677497745]
  強化学習アルゴリズムは、異なるランダムシードによるトレーニング実行間のパフォーマンスの強いばらつきを示すことができる。 我々は、悪いパフォーマーのプルーニングにより、大量のハイパーパラメータ設定を探索するのが良いか、あるいは、繰り返しを用いて収集結果の品質を目標とする方がよいかをベンチマークする。
  論文  参考訳（メタデータ） (2020-07-29T05:12:34Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• Weighted Random Search for Hyperparameter Optimization [0.0]
  本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。 我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。 同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-04-03T15:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。