論文の概要: The effects of regularisation on RNN models for time series forecasting: Covid-19 as an example

• arxiv url: http://arxiv.org/abs/2105.05932v1
• Date: Sun, 9 May 2021 10:50:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 14:09:18.433194
• Title: The effects of regularisation on RNN models for time series forecasting: Covid-19 as an example
• Title（参考訳）: 時系列予測のためのRNNモデルに対する正規化の効果:Covid-19を例として
• Authors: Marcus Carpenter, Chunbo Luo, Xiao-Si Wang
• Abstract要約: 本稿では,他のニューラルネットワークよりもフレキシブルなモデルを提案する。 小型データのパフォーマンスを改善するため,6つの正規化方法がテストされた。 わずか28日間のデータで訓練されたGRUモデルにDropoutを適用することでRMSEは23%減少した。
• 参考スコア（独自算出の注目度）: 2.5397218862229254
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Many research papers that propose models to predict the course of the COVID-19 pandemic either use handcrafted statistical models or large neural networks. Even though large neural networks are more powerful than simpler statistical models, they are especially hard to train on small datasets. This paper not only presents a model with grater flexibility than the other proposed neural networks, but also presents a model that is effective on smaller datasets. To improve performance on small data, six regularisation methods were tested. The results show that the GRU combined with 20% Dropout achieved the lowest RMSE scores. The main finding was that models with less access to data relied more on the regulariser. Applying Dropout to a GRU model trained on only 28 days of data reduced the RMSE by 23%.
• Abstract（参考訳）: 新型コロナウイルスのパンデミックの進行を予測するモデルを提案する多くの研究論文は、手作りの統計モデルまたは大きなニューラルネットワークを使用している。 大きなニューラルネットワークは単純な統計モデルよりも強力ですが、特に小さなデータセットでトレーニングするのは困難です。 本稿では,提案するニューラルネットワークよりもフレキシブルなモデルを示すだけでなく,より小さなデータセットに対して有効であるモデルを提案する。 小型データの性能向上のため,6つの正則化法が試験された。 その結果、GRUと20%のDropoutを組み合わせた結果、最低のRMSEスコアが得られた。 主な発見は、データへのアクセスが少ないモデルは正規化に頼っていることだ。 わずか28日間のデータでトレーニングされたGRUモデルにDropoutを適用することで、RMSEは23%削減された。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
  サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。 高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。 これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T17:54:59Z)
• Ensemble Machine Learning Model Trained on a New Synthesized Dataset Generalizes Well for Stress Prediction Using Wearable Devices [3.006016887654771]
  本研究では,少数の被験者を含むデータセット上に構築されたモデルの一般化能力について検討した。 本研究では,新たな未知のデータに対する予測パワーを測定するために,勾配押し上げと人工ニューラルネットワークを組み合わせたアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T00:20:57Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Improving Neural Networks for Time Series Forecasting using Data Augmentation and AutoML [0.0]
  本稿では,ニューラルネットワークの性能を大幅に向上させるデータ拡張手法を提案する。 これは、Neural Architecture Searchのような自動機械学習技術を組み合わせることで、与えられた時系列に最適なニューラルネットワークを見つけるのに役立つことを示している。
  論文  参考訳（メタデータ） (2021-03-02T19:20:49Z)
• A Comparison of LSTM and BERT for Small Corpus [0.0]
  NLP分野の最近の進歩は、スクラッチから始めるのではなく、事前学習されたモデルを調整することによって、新しいタスクの最先端結果を達成するのに、トランスファーラーニングが役立つことを示している。 本稿では、学術と産業の科学者が頻繁に直面する現実的なシナリオに焦点を当てる。小さなデータセットがあれば、BERTのような大規模な事前学習モデルを使用して、単純なモデルよりも優れた結果を得ることができるか? 実験の結果,2方向LSTMモデルは小データセットのBERTモデルよりもはるかに高い結果が得られることが示され,これらの単純なモデルは事前学習したモデルよりもはるかに少ない時間で訓練されることがわかった。
  論文  参考訳（メタデータ） (2020-09-11T14:01:14Z)
• Forecasting Industrial Aging Processes with Machine Learning Methods [0.0]
  我々は、従来のステートレスモデルとより複雑なリカレントニューラルネットワークを比較して、幅広いデータ駆動モデルを評価する。 以上の結果から,リカレントモデルでは,より大きなデータセットでトレーニングした場合,ほぼ完璧な予測が得られた。
  論文  参考訳（メタデータ） (2020-02-05T13:06:44Z)
• Model Extraction Attacks against Recurrent Neural Networks [1.2891210250935146]
  繰り返しニューラルネットワーク(RNN)に対するモデル抽出攻撃の脅威について検討する。 長い短期記憶(LSTM)から単純なRNNを用いて精度の高いモデルを抽出できるかどうかを論じる。 次に、特に損失関数とより複雑なアーキテクチャを構成することにより、精度の高いモデルを効率的に抽出できることを示す。
  論文  参考訳（メタデータ） (2020-02-01T01:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。