論文の概要: Kernel Corrector LSTM

• arxiv url: http://arxiv.org/abs/2404.18273v1
• Date: Sun, 28 Apr 2024 18:44:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 15:16:10.571572
• Title: Kernel Corrector LSTM
• Title（参考訳）: Kernel Corrector LSTM
• Authors: Rodrigo Tuna, Yassine Baghoussi, Carlos Soares, João Mendes-Moreira,
• Abstract要約: 我々は、cLSTMのメタラーナーをより単純な方法で置き換える新しいRW-MLアルゴリズムであるKernel Corrector LSTM(KcLSTM)を提案する。 我々は,新しいアルゴリズムの予測精度とトレーニング時間を実験的に評価し,cLSTMとLSTMと比較した。
• 参考スコア（独自算出の注目度）: 1.034961673489652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecasting methods are affected by data quality issues in two ways: 1. they are hard to predict, and 2. they may affect the model negatively when it is updated with new data. The latter issue is usually addressed by pre-processing the data to remove those issues. An alternative approach has recently been proposed, Corrector LSTM (cLSTM), which is a Read \& Write Machine Learning (RW-ML) algorithm that changes the data while learning to improve its predictions. Despite promising results being reported, cLSTM is computationally expensive, as it uses a meta-learner to monitor the hidden states of the LSTM. We propose a new RW-ML algorithm, Kernel Corrector LSTM (KcLSTM), that replaces the meta-learner of cLSTM with a simpler method: Kernel Smoothing. We empirically evaluate the forecasting accuracy and the training time of the new algorithm and compare it with cLSTM and LSTM. Results indicate that it is able to decrease the training time while maintaining a competitive forecasting accuracy.
• Abstract（参考訳）: 予測手法は2つの方法でデータ品質の問題に影響を受ける。 一 予測が困難で 2. 新しいデータで更新されると、モデルに悪影響を及ぼす可能性がある。 後者の問題は通常、これらの問題を取り除くためにデータを前処理することで対処される。 もうひとつのアプローチとしてCorrector LSTM(cLSTM)が提案されている。これはRead \&Write Machine Learning(RW-ML)アルゴリズムで、予測を改善するために学習中にデータを変更する。 有望な結果が報告されているにもかかわらず、メタリアナーを使用してLSTMの隠れ状態を監視するため、cLSTMは計算コストが高い。 我々は,cLSTMのメタラーナーを,より単純な方法で置き換える新しいRW-MLアルゴリズムであるKernel Corrector LSTM(KcLSTM)を提案する。 我々は,新しいアルゴリズムの予測精度とトレーニング時間を実験的に評価し,cLSTMとLSTMと比較した。 その結果,競争予測精度を維持しながらトレーニング時間を短縮できることが示唆された。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Are LSTMs Good Few-Shot Learners? [4.316506818580031]
  2001年、Hochreiterらは、異なるタスクにまたがってバックプロパゲーションで訓練されたLSTMがメタラーニングを行うことができることを示した。 このアプローチを再検討し、現代の数ショットの学習ベンチマークでテストします。 LSTMは、単純な数ショットの正弦波回帰ベンチマークでMAMLよりも優れているが、予想されることに、より複雑な数ショット画像分類ベンチマークでは不足している。
  論文  参考訳（メタデータ） (2023-10-22T00:16:30Z)
• DeLELSTM: Decomposition-based Linear Explainable LSTM to Capture Instantaneous and Long-term Effects in Time Series [26.378073712630467]
  LSTMの解釈性を改善するために,分解に基づく線形説明可能LSTM(DeLELSTM)を提案する。 3つの経験的データセット上でのDeLELSTMの有効性と解釈性を示す。
  論文  参考訳（メタデータ） (2023-08-26T07:45:41Z)
• SwinLSTM:Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM [10.104358712577215]
  本研究では,SwinブロックとLSTMを統合した新たなリカレントセルConvwinLSTMを提案する。 我々の競争実験の結果は、Swinwinの依存関係を捕捉するモデルにおいて、グローバルな空間依存の学習がより有利であることを示している。
  論文  参考訳（メタデータ） (2023-08-19T03:08:28Z)
• Can recurrent neural networks learn process model structure? [0.2580765958706854]
  本稿では,適合度,精度,一般化のために,変分に基づく再サンプリングとカスタムメトリクスを組み合わせた評価フレームワークを提案する。 LSTMは、単純化されたプロセスデータであっても、プロセスモデル構造を学ぶのに苦労する可能性があることを確認します。 また,トレーニング中にLSTMで見られる情報量が減少すると,一般化や精度の低下が生じた。
  論文  参考訳（メタデータ） (2022-12-13T08:40:01Z)
• Extreme-Long-short Term Memory for Time-series Prediction [0.0]
  Long Short-Term Memory (LSTM)は、新しいタイプのリカレントニューラルネットワーク(RNN)である 本稿では,高度なLSTMアルゴリズムであるExtreme Long Short-Term Memory (E-LSTM)を提案する。 新しいE-LSTMは、7番目のエポックなLSTMの結果を得るためには2エポックしか必要としない。
  論文  参考訳（メタデータ） (2022-10-15T09:45:48Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Improving Deep Learning for HAR with shallow LSTMs [70.94062293989832]
  本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。 この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
  論文  参考訳（メタデータ） (2021-08-02T08:14:59Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
  S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。 そこで本研究では,S-LSTMの深度適応機構を提案する。
  論文  参考訳（メタデータ） (2020-02-29T03:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。