論文の概要: Testing the Efficacy of Hyperparameter Optimization Algorithms in Short-Term Load Forecasting

• arxiv url: http://arxiv.org/abs/2410.15047v1
• Date: Sat, 19 Oct 2024 09:08:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:38.868027
• Title: Testing the Efficacy of Hyperparameter Optimization Algorithms in Short-Term Load Forecasting
• Title（参考訳）: 短期負荷予測におけるハイパーパラメータ最適化アルゴリズムの有効性の検討
• Authors: Tugrul Cabir Hakyemez, Omer Adar,
• Abstract要約: 我々は、Panaama Electricityデータセットを用いて、サロゲート予測アルゴリズムであるXGBoostのHPOアルゴリズムの性能を、精度(MAPE、$R2$)とランタイムで評価する。 その結果,Random SearchよりもHPOアルゴリズムが優れていることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Accurate forecasting of electrical demand is essential for maintaining a stable and reliable power grid, optimizing the allocation of energy resources, and promoting efficient energy consumption practices. This study investigates the effectiveness of five hyperparameter optimization (HPO) algorithms -- Random Search, Covariance Matrix Adaptation Evolution Strategy (CMA--ES), Bayesian Optimization, Partial Swarm Optimization (PSO), and Nevergrad Optimizer (NGOpt) across univariate and multivariate Short-Term Load Forecasting (STLF) tasks. Using the Panama Electricity dataset (n=48,049), we evaluate HPO algorithms' performances on a surrogate forecasting algorithm, XGBoost, in terms of accuracy (i.e., MAPE, $R^2$) and runtime. Performance plots visualize these metrics across varying sample sizes from 1,000 to 20,000, and Kruskal--Wallis tests assess the statistical significance of the performance differences. Results reveal significant runtime advantages for HPO algorithms over Random Search. In univariate models, Bayesian optimization exhibited the lowest accuracy among the tested methods. This study provides valuable insights for optimizing XGBoost in the STLF context and identifies areas for future research.
• Abstract（参考訳）: 電力需要の正確な予測は、安定的で信頼性の高い電力網を維持し、エネルギー資源の配分を最適化し、効率的なエネルギー消費の実践を促進するために不可欠である。 本研究では,5つのハイパーパラメータ最適化(HPO)アルゴリズム – ランダム探索,共分散行列適応進化戦略(CMA-ES),ベイズ最適化,部分群最適化(PSO),Nevergrad Optimizer(NGOpt) – の有効性を検討した。 パナマ電力データセット(n=48,049)を用いて、サロゲート予測アルゴリズムであるXGBoostとランタイムの精度(MAPE、$R^2$)でHPOアルゴリズムの性能を評価する。 パフォーマンスプロットは、これらのメトリクスを1,000から20,000までの様々なサンプルサイズで視覚化し、Kruskal-Wallisテストは、パフォーマンスの違いの統計的意義を評価する。 その結果,Random SearchよりもHPOアルゴリズムが優れていることがわかった。 単変量モデルでは、ベイズ最適化は試験方法の中で最低の精度を示した。 本研究は,STLF文脈におけるXGBoostの最適化に有用な知見を提供し,今後の研究領域を特定する。

関連論文リスト

• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• Comparative Evaluation of Metaheuristic Algorithms for Hyperparameter Selection in Short-Term Weather Forecasting [0.0]
  本稿では,遺伝的アルゴリズム (GA), 微分進化 (DE), 粒子群最適化 (PSO) のメタヒューリスティックアルゴリズムの適用について検討する。 平均二乗誤差(MSE)や平均絶対パーセンテージ誤差(MAPE)といった指標に基づいて天気予報の性能を評価する。
  論文  参考訳（メタデータ） (2023-09-05T22:13:35Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Performance comparison of optimization methods on variational quantum algorithms [2.690135599539986]
  変分量子アルゴリズム(VQA)は、学術・工業研究への応用に短期的な量子ハードウェアを使用するための有望な道を提供する。 SLSQP, COBYLA, CMA-ES, SPSAの4つの最適化手法の性能について検討した。
  論文  参考訳（メタデータ） (2021-11-26T12:13:20Z)
• Directed particle swarm optimization with Gaussian-process-based function forecasting [15.733136147164032]
  パーティクルスワム最適化 (PSO) は、探索空間を囲む一組の候補解を、ランダム化されたステップ長を持つ最もよく知られたグローバルおよびローカルな解へ移動させる反復探索法である。 本アルゴリズムは探索的・搾取的行動に対して望ましい特性が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-08T13:02:57Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。