論文の概要: EvoSTS Forecasting: Evolutionary Sparse Time-Series Forecasting
- arxiv url: http://arxiv.org/abs/2204.07066v1
- Date: Thu, 14 Apr 2022 16:01:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 16:17:13.168614
- Title: EvoSTS Forecasting: Evolutionary Sparse Time-Series Forecasting
- Title（参考訳）: EvoSTS予測:進化的なスパース時系列予測
- Authors: Ethan Jacob Moyer, Alisha Isabelle Augustin, Satvik Tripathi, Ansh
Aashish Dholakia, Andy Nguyen, Isamu Mclean Isozaki, Daniel Schwartz and
Edward Kim
- Abstract要約: EvoSTSとして知られる新しい進化的スパース時系列予測アルゴリズムについて紹介する。
このアルゴリズムはLong Short-Term Memory (LSTM) Networkの重み付けを優先し、学習されたスパース符号付き辞書を用いて予測信号の復元損失を最小化する。
我々の知る限りでは、LSTMネットワークのような時系列予測モデルの重み付けを最適化するために、この方法でスパース符号化を使用する最初の試みである。
- 参考スコア（独自算出の注目度）: 3.224848213649843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we highlight our novel evolutionary sparse time-series
forecasting algorithm also known as EvoSTS. The algorithm attempts to
evolutionary prioritize weights of Long Short-Term Memory (LSTM) Network that
best minimize the reconstruction loss of a predicted signal using a learned
sparse coded dictionary. In each generation of our evolutionary algorithm, a
set number of children with the same initial weights are spawned. Each child
undergoes a training step and adjusts their weights on the same data. Due to
stochastic back-propagation, the set of children has a variety of weights with
different levels of performance. The weights that best minimize the
reconstruction loss with a given signal dictionary are passed to the next
generation. The predictions from the best-performing weights of the first and
last generation are compared. We found improvements while comparing the weights
of these two generations. However, due to several confounding parameters and
hyperparameter limitations, some of the weights had negligible improvements. To
the best of our knowledge, this is the first attempt to use sparse coding in
this way to optimize time series forecasting model weights, such as those of an
LSTM network.
- Abstract（参考訳）: 本稿では,新しい進化的スパース時系列予測アルゴリズムであるevostsについて述べる。
このアルゴリズムは、学習されたスパース符号付き辞書を用いて予測された信号の再構成損失を最小化する、long short-term memory (lstm)ネットワークの進化的優先順位付けを試みる。
進化的アルゴリズムの各世代では、同じ初期重みを持つ子どもの数が生成される。
それぞれの子供はトレーニングステップを実施し、同じデータでウェイトを調整します。
確率的なバックプロパゲーションのため、子供のセットは様々なレベルのパフォーマンスを持つ様々な重量を持つ。
所定の信号辞書で再構成損失を最小化する重みは、次の世代に渡される。
第1世代と第1世代のベストパフォーマンスウェイトからの予測を比較する。
これら2世代の重量を比較しながら改善を見出した。
しかし、いくつかのパラメータとハイパーパラメータの制限のため、いくつかの重量は無視できる改善があった。
我々の知る限りでは、LSTMネットワークのような時系列予測モデルの重み付けを最適化するために、この方法でスパース符号化を使用する最初の試みである。
関連論文リスト
- MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。
本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
論文 参考訳（メタデータ） (2024-11-15T18:57:39Z) - The Persian Rug: solving toy models of superposition using large-scale symmetries [0.0]
入力次元が大きければ最小限の非線形スパースデータオートエンコーダによって学習されたアルゴリズムの完全なメカニスティック記述を示す。
我々の研究は、オートエンコーダの構造を理解する技術を導入することによって、ニューラルネットワークの解釈可能性に貢献している。
論文 参考訳（メタデータ） (2024-10-15T22:52:45Z) - NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
微調整された事前訓練されたモデルは、リソース集約的で厳しい。
広く採用されているPEFT技術であるLoRA(Lo-Rank Adaptation)は、事前訓練されたモデルの重量を凍結する。
NEATは、トレーニング済みの重みを入力として取り込んだ軽量ニューラルネットワークを導入し、近似累積重み更新のための非線形変換を学習する。
論文 参考訳（メタデータ） (2024-10-02T17:29:23Z) - Efficient Training with Denoised Neural Weights [65.14892033932895]
この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。
本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。
拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
論文 参考訳（メタデータ） (2024-07-16T17:59:42Z) - InRank: Incremental Low-Rank Learning [85.6380047359139]
勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。
既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。
InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
論文 参考訳（メタデータ） (2023-06-20T03:03:04Z) - Calibrating the Rigged Lottery: Making All Tickets Reliable [14.353428281239665]
信頼性校正を改善したスパースモデルを生成するための新しいスパーストレーニング手法を提案する。
本手法は,計算量や記憶負荷をわずかに増加させるだけで,同時に精度を向上する。
論文 参考訳（メタデータ） (2023-02-18T15:53:55Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳（メタデータ） (2022-08-05T01:23:54Z) - Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。
従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。
本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-07T17:43:51Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - AdamP: Slowing Down the Slowdown for Momentum Optimizers on
Scale-invariant Weights [53.8489656709356]
正規化技術は現代の深層学習の恩恵である。
しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。
本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
論文 参考訳（メタデータ） (2020-06-15T08:35:15Z) - Train-by-Reconnect: Decoupling Locations of Weights from their Values [6.09170287691728]
トレーニングされていないディープニューラルネットワーク(DNN)は、トレーニングされたニューラルネットワークとは異なることを示す。
重みをリコネクションすることでDNNをトレーニングするためのLookahead Permutation(LaPerm)という新しい手法を提案する。
初期重みが1つの値を共有すると、我々の手法はより精度のよい重み付きニューラルネットワークを見つける。
論文 参考訳（メタデータ） (2020-03-05T12:40:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。