論文の概要: Be aware of overfitting by hyperparameter optimization!

• arxiv url: http://arxiv.org/abs/2407.20786v2
• Date: Sun, 24 Nov 2024 07:15:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:16:42.267437
• Title: Be aware of overfitting by hyperparameter optimization!
• Title（参考訳）: ハイパーパラメータ最適化によるオーバーフィッティングに注意してください。
• Authors: Igor V. Tetko, Ruud van Deursen, Guillaume Godin,
• Abstract要約: ハイパーパラメータ最適化が必ずしも良いモデルをもたらすとは限らないことを示し、おそらく同じ統計測度を使用する場合の過度な適合が原因である。 我々はまた、トランスフォーマーCNNと呼ばれる笑顔の自然言語処理に基づく表現学習手法を追加することで、過去の分析を拡張した。 この結果から,トランスフォーマーCNNは,28対比較中26対比較において,グラフベースの手法よりも優れた結果を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Hyperparameter optimization is very frequently employed in machine learning. However, an optimization of a large space of parameters could result in overfitting of models. In recent studies on solubility prediction the authors collected seven thermodynamic and kinetic solubility datasets from different data sources. They used state-of-the-art graph-based methods and compared models developed for each dataset using different data cleaning protocols and hyperparameter optimization. In our study we showed that hyperparameter optimization did not always result in better models, possibly due to overfitting when using the same statistical measures. Similar results could be calculated using pre-set hyperparameters, reducing the computational effort by around 10,000 times. We also extended the previous analysis by adding a representation learning method based on Natural Language Processing of smiles called Transformer CNN. We show that across all analyzed sets using exactly the same protocol, Transformer CNN provided better results than graph-based methods for 26 out of 28 pairwise comparisons by using only a tiny fraction of time as compared to other methods. Last but not least we stressed the importance of comparing calculation results using exactly the same statistical measures.
• Abstract（参考訳）: ハイパーパラメータ最適化は機械学習によく用いられる。 しかし、パラメータの広い空間の最適化は、モデルの過度な適合をもたらす可能性がある。 溶解度予測に関する最近の研究で、著者らは異なるデータソースから7つの熱力学および運動溶解度データセットを収集した。 彼らは最先端のグラフベースの手法を使用して、異なるデータクリーニングプロトコルとハイパーパラメータ最適化を使用して、データセット毎に開発されたモデルを比較した。 本研究は,高パラメータ最適化が必ずしも良いモデルをもたらすとは限らないことを示し,おそらく同じ統計測度を用いた場合の過度な適合が原因と考えられる。 同様の結果は、プリセットされたハイパーパラメータを使って計算することができ、計算の労力を約10,000倍削減できる。 我々はまた、トランスフォーマーCNNと呼ばれる笑顔の自然言語処理に基づく表現学習手法を追加することで、過去の分析を拡張した。 この結果から,Transformer CNNはグラフベースの手法よりも,28のペアワイド比較において,ごくわずかな時間しか使用せず,より優れた結果が得られることがわかった。 最後に、全く同じ統計測度を用いて計算結果を比較することの重要性を強調した。

関連論文リスト

• Improve Machine Learning carbon footprint using Parquet dataset format and Mixed Precision training for regression models -- Part II [0.0]
  この論文では、回帰MLモデルをトレーニングしながら、Comma-Separated-Values(CSV)とデータセットフォーマットを使用した消費電力を、デフォルトの浮動小数点(32bit)とNvidiaの混合精度(16bitと32bit)と比較した。
  論文  参考訳（メタデータ） (2024-09-17T10:53:03Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How [62.467716468917224]
  本稿では,最適事前学習モデルとハイパーパラメータを共同で探索し,微調整する手法を提案する。 本手法は,一連のデータセット上で,事前学習したモデルの性能に関する知識を伝達する。 得られたアプローチによって、新しいデータセットの正確な事前学習モデルを迅速に選択できることを実証的に実証する。
  論文  参考訳（メタデータ） (2023-06-06T16:15:26Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Optimally Weighted Ensembles of Regression Models: Exact Weight Optimization and Applications [0.0]
  異なる回帰モデルを組み合わせることで、単一の(ベストな)回帰モデルを選択するよりも良い結果が得られることを示す。 不均一回帰モデルから最適重み付き線形結合を求める効率的な手法を概説する。
  論文  参考訳（メタデータ） (2022-06-22T09:11:14Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Accounting for Variance in Machine Learning Benchmarks [37.922783300635864]
  ある機械学習アルゴリズムAは、変化の源を越えて学習パイプラインを最適化する複数の試行を理想的に呼び出す。 これは非常に高価であり、コーナーは結論に達するために切断されます。 ベンチマークプロセス全体をモデル化し,データサンプリングによるばらつき,パラメータ初期化,ハイパーパラメータ選択の影響を明らかにした。 計算コストの51倍の削減で,不完全な推定器アプローチにより多くの変動源を加えることにより,理想推定器の精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-03-01T22:39:49Z)
• Gaussian Process Boosting [13.162429430481982]
  ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。 シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
  論文  参考訳（メタデータ） (2020-04-06T13:19:54Z)
• Weighted Random Search for Hyperparameter Optimization [0.0]
  本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。 我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。 同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-04-03T15:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。