論文の概要: Long Short-term Memory RNN
- arxiv url: http://arxiv.org/abs/2105.06756v1
- Date: Fri, 14 May 2021 10:34:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-17 18:11:11.866955
- Title: Long Short-term Memory RNN
- Title(参考訳): 長期短期記憶rnn
- Authors: Christian Bakke Venner{\o}d and Adrian Kj{\ae}rran and Erling Stray
Bugge
- Abstract要約: 本論文は,2020年秋のノルウェー科学技術大学における機械学習プロジェクトに基づいている。
このプロジェクトは,時系列予測手法の最新動向に関する文献レビューから始まった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper is based on a machine learning project at the Norwegian University
of Science and Technology, fall 2020. The project was initiated with a
literature review on the latest developments within time-series forecasting
methods in the scientific community over the past five years. The paper
summarizes the essential aspects of this research. Furthermore, in this paper,
we introduce an LSTM cell's architecture, and explain how different components
go together to alter the cell's memory and predict the output. Also, the paper
provides the necessary formulas and foundations to calculate a forward
iteration through an LSTM. Then, the paper refers to some practical
applications and research that emphasize the strength and weaknesses of LSTMs,
shown within the time-series domain and the natural language processing (NLP)
domain. Finally, alternative statistical methods for time series predictions
are highlighted, where the paper outline ARIMA and exponential smoothing.
Nevertheless, as LSTMs can be viewed as a complex architecture, the paper
assumes that the reader has some knowledge of essential machine learning
aspects, such as the multi-layer perceptron, activation functions, overfitting,
backpropagation, bias, over- and underfitting, and more.
- Abstract(参考訳): 本論文は,2020年秋のノルウェー科学技術大学における機械学習プロジェクトに基づいている。
このプロジェクトは、過去5年間の科学コミュニティにおける時系列予測手法の最新の展開に関する文献レビューから始まった。
本論文は,本研究の本質的側面を概説する。
さらに,本論文ではLSTMセルのアーキテクチャを導入し,異なるコンポーネントが協調してセルのメモリを変更して出力を予測する方法について説明する。
また,LSTMによる前方反復計算に必要な公式や基礎も提供する。
そこで本研究では,時系列領域と自然言語処理(NLP)領域で示されるLSTMの強みと弱みを強調する実践的応用と研究について述べる。
最後に,ARIMAの概要と指数的平滑化を概説した時系列予測のための統計手法について述べる。
それにもかかわらず、LSTMは複雑なアーキテクチャと見なすことができるため、読者は多層パーセプトロン、アクティベーション関数、オーバーフィット、バックプロパゲーション、バイアス、オーバーフィット、アンダーフィットなど、基本的な機械学習の側面についてある程度の知識を持っていると仮定する。
関連論文リスト
- LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Continual Learning with Pre-Trained Models: A Survey [66.49084129482239]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳(メタデータ) (2024-01-29T18:27:52Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [56.00281164118548]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳(メタデータ) (2023-12-01T16:00:25Z) - Advancing Transformer Architecture in Long-Context Large Language
Models: A Comprehensive Survey [18.930417261395906]
トランスフォーマーベースの大規模言語モデル(LLM)は、知識ベース、ヒューマンインタフェース、動的エージェントなど様々な分野に適用されている。
本稿では,トランスフォーマーをベースとしたLLMアーキテクチャの最近の進歩について,LLMの長期的コンテキスト能力の向上を目的とした調査を行う。
論文 参考訳(メタデータ) (2023-11-21T04:59:17Z) - Lessons in Reproducibility: Insights from NLP Studies in Materials
Science [4.205692673448206]
我々は,これらの研究を観点から理解し,材料情報学の分野に対するその大きな影響を,それらに批判的でなく認識することを目的としている。
本研究は, 両論文とも, 徹底した, 丁寧な, ドキュメント化され, モデル評価のための明確なガイダンスが得られたことを示唆する。
著作権制限が許すトレーニングデータへのアクセス、モデルアーキテクチャとトレーニングプロセスの透明性の向上、ソフトウェア依存バージョン仕様など、改善すべき領域を強調します。
論文 参考訳(メタデータ) (2023-07-28T18:36:42Z) - A Comprehensive Overview of Large Language Models [70.78732351626734]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳(メタデータ) (2023-07-12T20:01:52Z) - Disentangling Structured Components: Towards Adaptive, Interpretable and
Scalable Time Series Forecasting [52.47493322446537]
本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。
SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。
SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
論文 参考訳(メタデータ) (2023-05-22T13:39:44Z) - Deep Learning Approaches to Lexical Simplification: A Survey [19.079916794185642]
レキシカルシンプリフィケーション(Lexical Simplification、LS)は、複合語を文中の単純な単語に置き換える作業である。
LS は Text Simplification (TS) の語彙的構成要素である
近年のディープラーニングの進歩は、LSに新たな関心を喚起している。
論文 参考訳(メタデータ) (2023-05-19T20:56:22Z) - A Survey on Few-Shot Class-Incremental Learning [11.68962265057818]
FSCIL(Few-shot class-incremental Learning)は、ディープニューラルネットワークが新しいタスクを学習する上で重要な課題である。
本稿では, FSCILに関する包括的調査を行う。
FSCILはコンピュータビジョンの様々な分野で大きな成果を上げている。
論文 参考訳(メタデータ) (2023-04-17T10:15:08Z) - A Survey on Deep Learning based Time Series Analysis with Frequency
Transformation [74.3919960186696]
周波数変換(FT)は、時系列解析における最先端の精度と効率を高めるために、ディープラーニングモデルにますます取り入れられている。
この新興分野における注目の高まりと研究の高まりにもかかわらず、現在、FTを用いたディープラーニングベースの時系列モデルの体系的レビューと詳細な分析が欠如している。
本稿では,FTを用いた深層学習に基づく時系列解析における最近の研究成果を体系的に研究し,要約する総合的なレビューを紹介する。
論文 参考訳(メタデータ) (2023-02-04T14:33:07Z) - Enhancing Identification of Structure Function of Academic Articles
Using Contextual Information [6.28532577139029]
本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。
従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。
2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
論文 参考訳(メタデータ) (2021-11-28T11:21:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。