Fugu-MT 論文翻訳(概要): Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey

論文の概要: Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey

arxiv url: http://arxiv.org/abs/2304.11461v1
Date: Sat, 22 Apr 2023 18:22:10 GMT
ステータス: 処理完了
システム内更新日: 2023-04-25 18:21:17.229754
Title: Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey
Title（参考訳）: リカレントニューラルネットワークと長期短期記憶ネットワーク--チュートリアルとサーベイ
Authors: Benyamin Ghojogh, Ali Ghodsi
Abstract要約: 本稿では,Recurrent Neural Network (RNN), Long Short-Term Memory Network (LSTM)とその変種について述べる。まず、動的システムとRNNの時間によるバックプロパゲーションから始めます。本稿では,長期依存関係における勾配消滅と爆発の問題点について論じる。そして、LSTMゲートと細胞、LSTMの歴史とバリエーション、およびGated Recurrent Units (GRU)を紹介する。
参考スコア（独自算出の注目度）: 9.092591746522483
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This is a tutorial paper on Recurrent Neural Network (RNN), Long Short-Term Memory Network (LSTM), and their variants. We start with a dynamical system and backpropagation through time for RNN. Then, we discuss the problems of gradient vanishing and explosion in long-term dependencies. We explain close-to-identity weight matrix, long delays, leaky units, and echo state networks for solving this problem. Then, we introduce LSTM gates and cells, history and variants of LSTM, and Gated Recurrent Units (GRU). Finally, we introduce bidirectional RNN, bidirectional LSTM, and the Embeddings from Language Model (ELMo) network, for processing a sequence in both directions.
Abstract（参考訳）: 本稿では、リカレントニューラルネットワーク(RNN)、Long Short-Term Memory Network(LSTM)およびそれらの変種について解説する。まず、動的システムとRNNの時間によるバックプロパゲーションから始める。次に, 長期依存関係における勾配の消失と爆発の問題を考察する。この問題を解決するために,近距離重み行列,遅延時間,リーク単位,エコー状態ネットワークについて述べる。次に、LSTMゲートと細胞、LSTMの歴史と変種、Gated Recurrent Units (GRU)を紹介する。最後に、双方向RNN、双方向LSTM、および言語モデル(ELMo)ネットワークを両方向のシーケンスを処理するために導入する。

関連論文リスト

An Improved Time Feedforward Connections Recurrent Neural Networks [3.0965505512285967]
リカレントニューラルネットワーク(RNN)は洪水予測や財務データ処理といった時間的問題に広く応用されている。従来のRNNモデルは、厳密な時系列依存性のために勾配問題を増幅する。勾配問題に対処するために、改良された時間フィードフォワード接続リカレントニューラルネットワーク(TFC-RNN)モデルが最初に提案された。単一ゲートリカレントユニット(Single Gate Recurrent Unit, SGRU)と呼ばれる新しい細胞構造が提示され、RNNセルのパラメータ数が減少した。
論文参考訳（メタデータ） (2022-11-03T09:32:39Z)
Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文参考訳（メタデータ） (2022-08-28T17:50:19Z)
Music Generation Using an LSTM [52.77024349608834]
LSTM(Long Short-Term Memory)ネットワーク構造は、シリーズの次の出力の予測に非常に有用であることが証明されている。 Recurrent Neural Networks (RNN) を用いた音楽生成手法の実証我々は、音楽生成におけるLSTMの直感、理論、応用に関する簡単な要約を提供し、この目標を達成するのに最適なネットワークを開発し、提示し、直面する問題や課題を特定し、対処し、今後のネットワーク改善の可能性を含める。
論文参考訳（メタデータ） (2022-03-23T00:13:41Z)
Working Memory Connections for LSTM [51.742526187978726]
ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
論文参考訳（メタデータ） (2021-08-31T18:01:30Z)
Online learning of windmill time series using Long Short-term Cognitive Networks [58.675240242609064]
風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
論文参考訳（メタデータ） (2021-07-01T13:13:24Z)
Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文参考訳（メタデータ） (2020-12-10T22:30:25Z)
Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文参考訳（メタデータ） (2020-06-09T18:25:39Z)
Learning Long-Term Dependencies in Irregularly-Sampled Time Series [16.762335749650717]
連続時間隠れ状態を持つリカレントニューラルネットワーク(RNN)は、不規則サンプリング時系列のモデリングに自然に適合する。我々は、標準のRNNと同様、この問題の根底にある理由は、トレーニング中に勾配が消滅または爆発することにあることを証明している。我々は,その時間連続状態からメモリを分離する長寿命メモリ(LSTM)に基づく新しいアルゴリズムを設計することで,その解を提供する。
論文参考訳（メタデータ） (2020-06-08T08:46:58Z)
Do RNN and LSTM have Long Memory? [15.072891084847647]
RNN と LSTM は,統計的観点から長いメモリを持たないことが証明された。長期記憶ネットワークの新しい定義を導入し、モデル重みを一定速度で減衰させる必要がある。この理論を検証するため、RNNとLSTMを最小限の修正を行うことで長期記憶ネットワークに変換し、その優位性を様々なデータセットの長期依存をモデル化する。
論文参考訳（メタデータ） (2020-06-06T13:30:03Z)
Achieving Online Regression Performance of LSTMs with Simple RNNs [0.0]
本稿では,パラメータ数に線形時間を要する1次学習アルゴリズムを提案する。 SRNNが我々のアルゴリズムでトレーニングされている場合、LSTMと非常によく似た回帰性能を2～3倍の短いトレーニング時間で提供することを示す。
論文参考訳（メタデータ） (2020-05-16T11:41:13Z)
Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks [1.5146765382501612]
GOPディベートTwitterデータセット上で感情分析を行う。学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
論文参考訳（メタデータ） (2020-05-08T12:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。