論文の概要: Recurrent Neural Networks for Learning Long-term Temporal Dependencies
with Reanalysis of Time Scale Representation
- arxiv url: http://arxiv.org/abs/2111.03282v1
- Date: Fri, 5 Nov 2021 06:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-08 23:09:50.815726
- Title: Recurrent Neural Networks for Learning Long-term Temporal Dependencies
with Reanalysis of Time Scale Representation
- Title（参考訳）: 時間スケール表現の再解析による時間依存学習のための繰り返しニューラルネットワーク
- Authors: Kentaro Ohno, Atsutoshi Kumagai
- Abstract要約: 時間的表現としての忘れ門の解釈は、状態に対する損失の勾配が時間とともに指数関数的に減少するときに有効であると主張する。
本稿では,従来のモデルよりも長い時間スケールを表現できる新しいRNNの構築手法を提案する。
- 参考スコア（独自算出の注目度）: 16.32068729107421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent neural networks with a gating mechanism such as an LSTM or GRU are
powerful tools to model sequential data. In the mechanism, a forget gate, which
was introduced to control information flow in a hidden state in the RNN, has
recently been re-interpreted as a representative of the time scale of the
state, i.e., a measure how long the RNN retains information on inputs. On the
basis of this interpretation, several parameter initialization methods to
exploit prior knowledge on temporal dependencies in data have been proposed to
improve learnability. However, the interpretation relies on various unrealistic
assumptions, such as that there are no inputs after a certain time point. In
this work, we reconsider this interpretation of the forget gate in a more
realistic setting. We first generalize the existing theory on gated RNNs so
that we can consider the case where inputs are successively given. We then
argue that the interpretation of a forget gate as a temporal representation is
valid when the gradient of loss with respect to the state decreases
exponentially as time goes back. We empirically demonstrate that existing RNNs
satisfy this gradient condition at the initial training phase on several tasks,
which is in good agreement with previous initialization methods. On the basis
of this finding, we propose an approach to construct new RNNs that can
represent a longer time scale than conventional models, which will improve the
learnability for long-term sequential data. We verify the effectiveness of our
method by experiments with real-world datasets.
- Abstract（参考訳）: LSTMやGRUのようなゲーティング機構を備えたリカレントニューラルネットワークは、シーケンシャルデータをモデル化するための強力なツールである。
この機構では、rnnの隠れた状態における情報フローを制御するために導入されたrelookゲートが、最近、入力に関する情報を保持するrnnの時間スケールを表すものとして再解釈されている。
この解釈に基づいて、データの時間的依存関係に関する事前知識を活用するためのパラメータ初期化手法が提案され、学習性が改善された。
しかし、解釈は特定の時点の後に入力がないというような様々な非現実的な仮定に依存している。
本稿では,より現実的な設定で,このルターゲートの解釈を再考する。
まず、ゲートRNNに関する既存の理論を一般化し、入力が連続的に与えられる場合を考える。
次に,時間とともに損失の勾配が指数関数的に減少する場合には,時間的表現としての忘れ門の解釈が有効であると主張する。
実験により,既存のrnnが複数のタスクの初期トレーニング段階でこの勾配条件を満たすことを実証し,従来の初期化法とよく一致した。
そこで本研究では,従来のモデルよりも長い時間スケールを表現できる新しいRNNの構築手法を提案する。
本手法の有効性を実世界データセットを用いた実験により検証する。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Hidden State Approximation in Recurrent Neural Networks Using Continuous
Particle Filtering [0.0]
過去のデータを使って将来の出来事を予測することは、株価の予測やロボットのローカライゼーションなど、現実世界に多くの応用がある。
本稿では, 粒子を用いて潜伏状態の分布を近似し, より複雑な状態に拡張する方法を示す。
提案した連続微分可能スキームでは,ベイズ則に従って付加価値情報を適応的に抽出し,潜時状態を更新することができる。
論文 参考訳（メタデータ） (2022-12-18T04:31:45Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural
Networks [5.986408771459261]
生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。
ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。
RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。
逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
論文 参考訳（メタデータ） (2021-10-06T15:51:38Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Online learning of windmill time series using Long Short-term Cognitive
Networks [58.675240242609064]
風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。
我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。
提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
論文 参考訳（メタデータ） (2021-07-01T13:13:24Z) - UnICORNN: A recurrent model for learning very long time dependencies [0.0]
2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。
結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
論文 参考訳（メタデータ） (2021-03-09T15:19:59Z) - Multi-Time-Scale Input Approaches for Hourly-Scale Rainfall-Runoff
Modeling based on Recurrent Neural Networks [0.0]
繰り返しニューラルネットワーク(RNN)による時系列モデリングに必要な計算時間を削減する2つの手法を提案する。
1つのアプローチは、RNNに並列に入力時系列の粗い時間分解を提供する。
その結果,提案手法のどちらも,RNNのトレーニングに要する時間を大幅に短縮できることを確認した。
論文 参考訳（メタデータ） (2021-01-30T07:51:55Z) - Frequentist Uncertainty in Recurrent Neural Networks via Blockwise
Influence Functions [121.10450359856242]
リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。
RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。
a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
論文 参考訳（メタデータ） (2020-06-20T22:45:32Z) - Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。
より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
論文 参考訳（メタデータ） (2020-03-23T10:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。