論文の概要: HyperTime: Hyperparameter Optimization for Combating Temporal Distribution Shifts

• arxiv url: http://arxiv.org/abs/2305.18421v1
• Date: Sun, 28 May 2023 19:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 21:25:50.042022
• Title: HyperTime: Hyperparameter Optimization for Combating Temporal Distribution Shifts
• Title（参考訳）: HyperTime: 時間分布シフトの圧縮のためのハイパーパラメータ最適化
• Authors: Shaokun Zhang, Yiran Wu, Zhonghua Zheng, Qingyun Wu, Chi Wang
• Abstract要約: 我々は、時系列検証セットに対する平均検証損失と最悪の検証損失に対して、レキソグラフィー優先順序を用いる。 本稿では,時間分布シフトを伴う複数の機械学習タスクにおいて,提案手法の強い経験的性能を示す。
• 参考スコア（独自算出の注目度）: 26.205660967039087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose a hyperparameter optimization method named \emph{HyperTime} to find hyperparameters robust to potential temporal distribution shifts in the unseen test data. Our work is motivated by an important observation that it is, in many cases, possible to achieve temporally robust predictive performance via hyperparameter optimization. Based on this observation, we leverage the `worst-case-oriented' philosophy from the robust optimization literature to help find such robust hyperparameter configurations. HyperTime imposes a lexicographic priority order on average validation loss and worst-case validation loss over chronological validation sets. We perform a theoretical analysis on the upper bound of the expected test loss, which reveals the unique advantages of our approach. We also demonstrate the strong empirical performance of the proposed method on multiple machine learning tasks with temporal distribution shifts.
• Abstract（参考訳）: 本研究では,未確認試験データ中の時間分布変化に対して頑健な超パラメータを求めるために,超パラメータ最適化法である \emph{HyperTime} を提案する。 我々の研究は、多くの場合、ハイパーパラメータ最適化によって時間的に堅牢な予測性能を達成することができるという重要な観察によって動機付けられている。 この観察に基づいて,このような強固なハイパーパラメータ構成を見つけるのに役立つロバスト最適化文献から,'worst-case-oriented' という哲学を活用した。 hypertimeは、平均検証損失と、時系列検証セットに対する最悪の検証損失に対して、辞書の優先順位を課す。 提案手法の独特な利点を明らかにするために, 期待されるテスト損失の上限を理論的に解析する。 また,時間分布シフトを伴う複数の機械学習タスクにおいて,提案手法の強い経験的性能を示す。

関連論文リスト

• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• Improving Fast Minimum-Norm Attacks with Hyperparameter Optimization [12.526318578195724]
  本稿では、損失関数、自動化、ステップサイズスケジューラの選択により、超パラメータ最適化が高速な最小ノルム攻撃を改善することを示す。 オープンソースコードはhttps://www.pralab.com/HO-FMN.comで公開しています。
  論文  参考訳（メタデータ） (2023-10-12T10:03:25Z)
• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• Hierarchical Proxy Modeling for Improved HPO in Time Series Forecasting [9.906423777470737]
  本稿では,時系列データセットに関連付けられたデータ階層を利用して,HPOをテストプロキシで駆動する新しい手法H-Proを提案する。 H-Proは、市販の機械学習モデルにも適用でき、HPOを実行することができる。 我々の手法は、観光、ウィキ、交通のデータセットにおける既存の最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2022-11-28T06:37:15Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization [5.063728016437489]
  我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。 ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
  論文  参考訳（メタデータ） (2021-12-08T02:34:43Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• Automatic Hyper-Parameter Optimization Based on Mapping Discovery from Data to Hyper-Parameters [3.37314595161109]
  本稿では,データから対応するハイパーパラメータへのマッピングに基づく,効率的な自動パラメータ最適化手法を提案する。 提案手法は最先端のアポラッチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-03-03T19:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。