Fugu-MT 論文翻訳(概要): Do RNN and LSTM have Long Memory?

論文の概要: Do RNN and LSTM have Long Memory?

arxiv url: http://arxiv.org/abs/2006.03860v2
Date: Wed, 10 Jun 2020 07:28:18 GMT
ステータス: 処理完了
システム内更新日: 2022-11-24 21:07:32.051727
Title: Do RNN and LSTM have Long Memory?
Title（参考訳）: RNNとLSTMはLong Memoryを持っているか?
Authors: Jingyu Zhao, Feiqing Huang, Jia Lv, Yanjie Duan, Zhen Qin, Guodong Li, Guangjian Tian
Abstract要約: RNN と LSTM は,統計的観点から長いメモリを持たないことが証明された。長期記憶ネットワークの新しい定義を導入し、モデル重みを一定速度で減衰させる必要がある。この理論を検証するため、RNNとLSTMを最小限の修正を行うことで長期記憶ネットワークに変換し、その優位性を様々なデータセットの長期依存をモデル化する。
参考スコア（独自算出の注目度）: 15.072891084847647
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The LSTM network was proposed to overcome the difficulty in learning long-term dependence, and has made significant advancements in applications. With its success and drawbacks in mind, this paper raises the question - do RNN and LSTM have long memory? We answer it partially by proving that RNN and LSTM do not have long memory from a statistical perspective. A new definition for long memory networks is further introduced, and it requires the model weights to decay at a polynomial rate. To verify our theory, we convert RNN and LSTM into long memory networks by making a minimal modification, and their superiority is illustrated in modeling long-term dependence of various datasets.
Abstract（参考訳）: LSTMネットワークは、長期依存学習の難しさを克服するために提案され、アプリケーションに多大な進歩をもたらした。成功と欠点を念頭に置いて、この記事では、RNNとLSTMは長い記憶を持つのだろうか、という疑問を提起する。 RNN と LSTM が統計的視点から長いメモリを持たないことを証明することで部分的に答える。長期記憶ネットワークに対する新たな定義がさらに導入され、モデル重みを多項式速度で減衰させる必要がある。この理論を検証するため、RNNとLSTMを最小限の修正を行うことで長期記憶ネットワークに変換し、その優位性を様々なデータセットの長期依存をモデル化する。

関連論文リスト

Stuffed Mamba: State Collapse and State Capacity of RNN-Based Long-Context Modeling [69.36377985746878]
本研究では,RNNの長期的文脈処理能力の低下の原因について検討し,重要な緩和策を提案する。まず,訓練中に遭遇しないシーケンス長の大幅な性能劣化を引き起こす*状態崩壊*(SC)について検討する。我々は,言語モデルとパスキー検索における逐次状態キャパシティを実証的に推定するために,長い文書上に一連のマンバ2モデルを訓練する。
論文参考訳（メタデータ） (2024-10-09T17:54:28Z)
Were RNNs All We Needed? [53.393497486332]
従来のリカレントニューラルネットワーク(RNN)を10年以上前から再検討しています。入力から隠れた状態依存を取り除くことで、LSTMやGRUはBPTTを必要とせず、並列で効率的に訓練できることを示す。
論文参考訳（メタデータ） (2024-10-02T03:06:49Z)
DON-LSTM: Multi-Resolution Learning with DeepONets and Long Short-Term Memory Neural Networks [1.8434042562191815]
ディープオペレータネットワーク(DeepONets、DON)は、マルチレゾリューションデータでトレーニングできるという点で、従来のニューラルネットワークよりも明確なアドバンテージを提供する。我々は,長期記憶ネットワーク(LSTM)でDeepONetを拡張した新しいアーキテクチャDON-LSTMを提案する。提案した多分解能DON-LSTMは, 一般化誤差を著しく低減し, バニラに比べて高分解能サンプルを少なくすることを示した。
論文参考訳（メタデータ） (2023-10-03T23:43:16Z)
Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey [9.092591746522483]
本稿では,Recurrent Neural Network (RNN), Long Short-Term Memory Network (LSTM)とその変種について述べる。まず、動的システムとRNNの時間によるバックプロパゲーションから始めます。本稿では,長期依存関係における勾配消滅と爆発の問題点について論じる。そして、LSTMゲートと細胞、LSTMの歴史とバリエーション、およびGated Recurrent Units (GRU)を紹介する。
論文参考訳（メタデータ） (2023-04-22T18:22:10Z)
Working Memory Connections for LSTM [51.742526187978726]
ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
論文参考訳（メタデータ） (2021-08-31T18:01:30Z)
Object Tracking through Residual and Dense LSTMs [67.98948222599849]
LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
論文参考訳（メタデータ） (2020-06-22T08:20:17Z)
Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文参考訳（メタデータ） (2020-06-09T18:25:39Z)
Learning Various Length Dependence by Dual Recurrent Neural Networks [0.0]
デュアルリカレントニューラルネットワーク(DuRNN)という新しいモデルを提案する。 DuRNNは短期依存を学習し、長期依存を徐々に学習する2つの部分から構成される。コントリビューションは,1)長期的・短期的依存を個別に学習するための分割・並行的戦略に基づく新たな再帰モデル,2)異なる時間的依存尺度の分離・学習を促進するための選択メカニズムである。
論文参考訳（メタデータ） (2020-05-28T09:30:01Z)
Achieving Online Regression Performance of LSTMs with Simple RNNs [0.0]
本稿では,パラメータ数に線形時間を要する1次学習アルゴリズムを提案する。 SRNNが我々のアルゴリズムでトレーニングされている場合、LSTMと非常によく似た回帰性能を2～3倍の短いトレーニング時間で提供することを示す。
論文参考訳（メタデータ） (2020-05-16T11:41:13Z)
Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks [1.5146765382501612]
GOPディベートTwitterデータセット上で感情分析を行う。学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
論文参考訳（メタデータ） (2020-05-08T12:50:10Z)
Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
論文参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。