論文の概要: Reshuffling Resampling Splits Can Improve Generalization of Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2405.15393v1
• Date: Fri, 24 May 2024 09:48:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 15:01:48.422561
• Title: Reshuffling Resampling Splits Can Improve Generalization of Hyperparameter Optimization
• Title（参考訳）: Reshuffling Resampling Splitsはハイパーパラメータ最適化の一般化を改善する
• Authors: Thomas Nagler, Lennart Schneider, Bernd Bischl, Matthias Feurer,
• Abstract要約: 驚くべきことに、各構成の分割をリシャッフルすることで、最終モデルの一般化性能が向上することが多い。 リシャッフルは固定スプリットの使用と競合するテストパフォーマンスをもたらすが、単一のトレインバリデーションのホールドアウトプロトコルの結果を大幅に改善する。
• 参考スコア（独自算出の注目度）: 11.094232017583177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperparameter optimization is crucial for obtaining peak performance of machine learning models. The standard protocol evaluates various hyperparameter configurations using a resampling estimate of the generalization error to guide optimization and select a final hyperparameter configuration. Without much evidence, paired resampling splits, i.e., either a fixed train-validation split or a fixed cross-validation scheme, are often recommended. We show that, surprisingly, reshuffling the splits for every configuration often improves the final model's generalization performance on unseen data. Our theoretical analysis explains how reshuffling affects the asymptotic behavior of the validation loss surface and provides a bound on the expected regret in the limiting regime. This bound connects the potential benefits of reshuffling to the signal and noise characteristics of the underlying optimization problem. We confirm our theoretical results in a controlled simulation study and demonstrate the practical usefulness of reshuffling in a large-scale, realistic hyperparameter optimization experiment. While reshuffling leads to test performances that are competitive with using fixed splits, it drastically improves results for a single train-validation holdout protocol and can often make holdout become competitive with standard CV while being computationally cheaper.
• Abstract（参考訳）: ハイパーパラメータ最適化は、機械学習モデルのピークパフォーマンスを得るために不可欠である。 標準プロトコルは、一般化誤差の再サンプリング推定を用いて様々なハイパーパラメータ構成を評価し、最適化をガイドし、最終的なハイパーパラメータ構成を選択する。 多くの証拠がなければ、ペア化された再サンプリングの分割、すなわち、固定列車の改札または固定列車の改札方式がしばしば推奨される。 意外なことに、各構成の分割をリシャッフルすることで、最終的なモデルの非表示データに対する一般化性能が向上することが少なくない。 我々の理論的分析は,リシャッフルがバリデーション損失面の漸近的挙動にどのように影響するかを説明し,限界状態における期待された後悔に束縛を与える。 このバウンダリは、下層の最適化問題の信号と雑音特性にリシャッフルの潜在的な利点を結びつける。 我々は,制御されたシミュレーション実験で理論結果を検証し,大規模で現実的なハイパーパラメータ最適化実験においてリシャフリングの実用的有用性を示す。 再シャッフルは固定分割の使用と競合するテスト性能をもたらすが、単一の列車価のホールドアウトプロトコルの結果を大幅に改善し、計算的に安価でありながら標準CVとの競合を招きかねない。

関連論文リスト

• Tune without Validation: Searching for Learning Rate and Weight Decay on Training Sets [0.0]
  Tune without Validation (Twin)は、学習率と体重減少をチューニングするためのパイプラインである。 我々は、20の画像分類データセットに関する広範な実験を行い、ディープネットワークの数家族を訓練する。 我々は,スクラッチと微調整の訓練において適切なHP選択を示し,小サンプルシナリオを強調した。
  論文  参考訳（メタデータ） (2024-03-08T18:57:00Z)
• Stability-Adjusted Cross-Validation for Sparse Linear Regression [5.156484100374059]
  k倍のクロスバリデーションのようなクロスバリデーション技術はスパース回帰の計算コストを大幅に増大させる。 クロスバリデーションメトリックの重み付け和とモデルの出力安定性を最小化するハイパーパラメータの選択を提案する。 我々の信頼度調整手順は、13の実世界のデータセット上で、テストセットエラーを平均で2%削減する。
  論文  参考訳（メタデータ） (2023-06-26T17:02:45Z)
• HyperTime: Hyperparameter Optimization for Combating Temporal Distribution Shifts [26.205660967039087]
  我々は、時系列検証セットに対する平均検証損失と最悪の検証損失に対して、レキソグラフィー優先順序を用いる。 本稿では,時間分布シフトを伴う複数の機械学習タスクにおいて,提案手法の強い経験的性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T19:41:23Z)
• Hyperparameter Optimization through Neural Network Partitioning [11.6941692990626]
  本稿では,ニューラルネットワークにおけるハイパーパラメータの最適化をシンプルかつ効率的に行う方法を提案する。 本手法では,トレーニングデータとニューラルネットワークモデルをデータシャードとパラメータ分割に$K$に分割する。 我々は、この目的を単一のトレーニングランで様々なハイパーパラメータを最適化するために適用できることを実証した。
  論文  参考訳（メタデータ） (2023-04-28T11:24:41Z)
• Toward Theoretical Guidance for Two Common Questions in Practical Cross-Validation based Hyperparameter Selection [72.76113104079678]
  クロスバリデーションに基づくハイパーパラメータ選択における2つの一般的な質問に対する最初の理論的治療について述べる。 これらの一般化は、少なくとも、常に再トレーニングを行うか、再トレーニングを行わないかを常に実行可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-12T16:37:12Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Provably tuning the ElasticNet across instances [53.0518090093538]
  我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。 我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
  論文  参考訳（メタデータ） (2022-07-20T21:22:40Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Overfitting in Bayesian Optimization: an empirical study and early-stopping solution [41.782410830989136]
  早期停止BOへの最初の問題適応性と解釈可能な基準を提案する。 提案手法は, テスト精度をほとんど損なうことなく, 計算時間を実質的に削減できることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:26:23Z)
• How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
  本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。 評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。 次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
  論文  参考訳（メタデータ） (2020-10-19T21:46:39Z)
• Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
  事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。 ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。 本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
  論文  参考訳（メタデータ） (2020-02-19T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。