論文の概要: Self-supervised learning for fast and scalable time series hyper-parameter tuning

• arxiv url: http://arxiv.org/abs/2102.05740v1
• Date: Wed, 10 Feb 2021 21:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 14:13:00.338131
• Title: Self-supervised learning for fast and scalable time series hyper-parameter tuning
• Title（参考訳）: 高速かつスケーラブルな時系列ハイパーパラメータチューニングのための自己監視学習
• Authors: Peiyi Zhang, Xiaodong Jiang, Ginger M Holt, Nikolay Pavlovich Laptev, Caner Komurlu, Peng Gao, and Yang Yu
• Abstract要約: 時系列モデルのハイパーパラメータは時系列解析において重要な役割を果たす。 我々はHPT(SSL-HPT)のための自己教師型学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.9124328578934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyper-parameters of time series models play an important role in time series analysis. Slight differences in hyper-parameters might lead to very different forecast results for a given model, and therefore, selecting good hyper-parameter values is indispensable. Most of the existing generic hyper-parameter tuning methods, such as Grid Search, Random Search, Bayesian Optimal Search, are based on one key component - search, and thus they are computationally expensive and cannot be applied to fast and scalable time-series hyper-parameter tuning (HPT). We propose a self-supervised learning framework for HPT (SSL-HPT), which uses time series features as inputs and produces optimal hyper-parameters. SSL-HPT algorithm is 6-20x faster at getting hyper-parameters compared to other search based algorithms while producing comparable accurate forecasting results in various applications.
• Abstract（参考訳）: 時系列モデルのハイパーパラメータは時系列分析において重要な役割を果たす。 ハイパーパラメータのわずかな違いは、与えられたモデルに対して非常に異なる予測結果をもたらす可能性があるため、優れたハイパーパラメータ値の選択は不可欠です。 Grid Search、Random Search、Bayesian Optimal Searchといった既存の一般的なハイパーパラメータチューニング手法のほとんどは、検索という一つの重要なコンポーネントに基づいているため、計算コストが高く、高速でスケーラブルな時系列ハイパーパラメータチューニング(HPT)には適用できない。 時系列特徴を入力として利用し,最適なハイパーパラメータを生成するHPT(SSL-HPT)の自己監視学習フレームワークを提案する。 SSL-HPTアルゴリズムは、他の検索ベースアルゴリズムに比べて6-20倍高速で、様々なアプリケーションで精度の高い予測結果を生成する。

関連論文リスト

• Scrap Your Schedules with PopDescent [0.0]
  Population Descent (PopDescent) は、メメティックな集団検索技術である。 また,PopDescentは既存の検索手法よりも高速に収束し,テストロス値が最大18%低いモデルパラメータを求める。 標準的な機械学習ビジョンタスクの試行では、PopDescentは既存の検索手法よりも高速に収束し、テストロス値が最大18%低いモデルパラメータが見つかる。
  論文  参考訳（メタデータ） (2023-10-23T08:11:17Z)
• AutoRL Hyperparameter Landscapes [69.15927869840918]
  強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。 我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。 これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
  論文  参考訳（メタデータ） (2023-04-05T12:14:41Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
  我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。 我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
  論文  参考訳（メタデータ） (2021-11-28T05:27:34Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• HyperNP: Interactive Visual Exploration of Multidimensional Projection Hyperparameters [61.354362652006834]
  HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。 我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
  論文  参考訳（メタデータ） (2021-06-25T17:28:14Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
  HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。 生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。 既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
  論文  参考訳（メタデータ） (2020-05-21T08:56:50Z)
• Weighted Random Search for CNN Hyperparameter Optimization [0.0]
  本稿では、ランダム探索(RS)と確率的欲求を組み合わせた重み付きランダム探索(WRS)手法を提案する。 基準は、ハイパーパラメーター値の試験された組み合わせの同じ数内で達成される分類精度である。 我々の実験によると、WRSアルゴリズムは他の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T09:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。