論文の概要: EvoSTS Forecasting: Evolutionary Sparse Time-Series Forecasting
- arxiv url: http://arxiv.org/abs/2204.07066v1
- Date: Thu, 14 Apr 2022 16:01:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 16:17:13.168614
- Title: EvoSTS Forecasting: Evolutionary Sparse Time-Series Forecasting
- Title(参考訳): EvoSTS予測:進化的なスパース時系列予測
- Authors: Ethan Jacob Moyer, Alisha Isabelle Augustin, Satvik Tripathi, Ansh
Aashish Dholakia, Andy Nguyen, Isamu Mclean Isozaki, Daniel Schwartz and
Edward Kim
- Abstract要約: EvoSTSとして知られる新しい進化的スパース時系列予測アルゴリズムについて紹介する。
このアルゴリズムはLong Short-Term Memory (LSTM) Networkの重み付けを優先し、学習されたスパース符号付き辞書を用いて予測信号の復元損失を最小化する。
我々の知る限りでは、LSTMネットワークのような時系列予測モデルの重み付けを最適化するために、この方法でスパース符号化を使用する最初の試みである。
- 参考スコア(独自算出の注目度): 3.224848213649843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we highlight our novel evolutionary sparse time-series
forecasting algorithm also known as EvoSTS. The algorithm attempts to
evolutionary prioritize weights of Long Short-Term Memory (LSTM) Network that
best minimize the reconstruction loss of a predicted signal using a learned
sparse coded dictionary. In each generation of our evolutionary algorithm, a
set number of children with the same initial weights are spawned. Each child
undergoes a training step and adjusts their weights on the same data. Due to
stochastic back-propagation, the set of children has a variety of weights with
different levels of performance. The weights that best minimize the
reconstruction loss with a given signal dictionary are passed to the next
generation. The predictions from the best-performing weights of the first and
last generation are compared. We found improvements while comparing the weights
of these two generations. However, due to several confounding parameters and
hyperparameter limitations, some of the weights had negligible improvements. To
the best of our knowledge, this is the first attempt to use sparse coding in
this way to optimize time series forecasting model weights, such as those of an
LSTM network.
- Abstract(参考訳): 本稿では,新しい進化的スパース時系列予測アルゴリズムであるevostsについて述べる。
このアルゴリズムは、学習されたスパース符号付き辞書を用いて予測された信号の再構成損失を最小化する、long short-term memory (lstm)ネットワークの進化的優先順位付けを試みる。
進化的アルゴリズムの各世代では、同じ初期重みを持つ子どもの数が生成される。
それぞれの子供はトレーニングステップを実施し、同じデータでウェイトを調整します。
確率的なバックプロパゲーションのため、子供のセットは様々なレベルのパフォーマンスを持つ様々な重量を持つ。
所定の信号辞書で再構成損失を最小化する重みは、次の世代に渡される。
第1世代と第1世代のベストパフォーマンスウェイトからの予測を比較する。
これら2世代の重量を比較しながら改善を見出した。
しかし、いくつかのパラメータとハイパーパラメータの制限のため、いくつかの重量は無視できる改善があった。
我々の知る限りでは、LSTMネットワークのような時系列予測モデルの重み付けを最適化するために、この方法でスパース符号化を使用する最初の試みである。
関連論文リスト
- InRank: Incremental Low-Rank Learning [85.6380047359139]
勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。
既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。
InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
論文 参考訳(メタデータ) (2023-06-20T03:03:04Z) - Calibrating the Rigged Lottery: Making All Tickets Reliable [14.353428281239665]
信頼性校正を改善したスパースモデルを生成するための新しいスパーストレーニング手法を提案する。
本手法は,計算量や記憶負荷をわずかに増加させるだけで,同時に精度を向上する。
論文 参考訳(メタデータ) (2023-02-18T15:53:55Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳(メタデータ) (2022-11-16T00:11:04Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳(メタデータ) (2022-08-05T01:23:54Z) - Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。
従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。
本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-09-07T17:43:51Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳(メタデータ) (2021-06-18T01:03:13Z) - An Experimental Study of Weight Initialization and Weight Inheritance
Effects on Neuroevolution [2.3274138116397736]
神経進化では、初期ゲノム(ANN)が探索の開始時に生成される場合、子孫ゲノムが交叉によって生成される場合、突然変異時に新しいノードやエッジが生成される場合、の三つの異なるタイミングで重みが爆発する必要がある。
本研究は,Xavier,Kaming,および一様ランダムウェイト初期化法と,クロスオーバーおよび突然変異操作中に新しいウェイトを初期化する新しいラマルク重み継承法との相違について検討する。
論文 参考訳(メタデータ) (2020-09-21T07:06:47Z) - Neural networks with late-phase weights [66.72777753269658]
学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。
学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
論文 参考訳(メタデータ) (2020-07-25T13:23:37Z) - AdamP: Slowing Down the Slowdown for Momentum Optimizers on
Scale-invariant Weights [53.8489656709356]
正規化技術は現代の深層学習の恩恵である。
しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。
本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
論文 参考訳(メタデータ) (2020-06-15T08:35:15Z) - Train-by-Reconnect: Decoupling Locations of Weights from their Values [6.09170287691728]
トレーニングされていないディープニューラルネットワーク(DNN)は、トレーニングされたニューラルネットワークとは異なることを示す。
重みをリコネクションすることでDNNをトレーニングするためのLookahead Permutation(LaPerm)という新しい手法を提案する。
初期重みが1つの値を共有すると、我々の手法はより精度のよい重み付きニューラルネットワークを見つける。
論文 参考訳(メタデータ) (2020-03-05T12:40:46Z) - Comparing Rewinding and Fine-tuning in Neural Network Pruning [28.663299059376897]
我々は、微調整と学習率の巻き戻しを比較し、ニューラルネットワークプルーニングアルゴリズムを訓練する。
どちらの巻き戻し手法も、より多くのネットワーク固有の最先端技術の精度と圧縮率に一致する、ネットワークに依存しないアルゴリズムの基礎を形成する。
論文 参考訳(メタデータ) (2020-03-05T00:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。