論文の概要: Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2212.11085v1
• Date: Tue, 20 Dec 2022 08:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 14:10:19.913382
• Title: Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおけるメモリ距離制限の実証的解析
• Authors: Steffen Illium, Thore Schillman, Robert M\"uller, Thomas Gabor and Claudia Linnhoff-Popien
• Abstract要約: 我々は、RNNが標準的なバックプロパゲーションを用いてそれらを記憶することで、いくつかのデータポイントをシーケンスに戻すことができることを示す。 古典的なRNNでは、LSTMとGRUは、この方法で再現できる再帰呼び出し間のデータポイントの距離が極めて限られている。
• 参考スコア（独自算出の注目度）: 10.09712608508383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Common to all different kinds of recurrent neural networks (RNNs) is the intention to model relations between data points through time. When there is no immediate relationship between subsequent data points (like when the data points are generated at random, e.g.), we show that RNNs are still able to remember a few data points back into the sequence by memorizing them by heart using standard backpropagation. However, we also show that for classical RNNs, LSTM and GRU networks the distance of data points between recurrent calls that can be reproduced this way is highly limited (compared to even a loose connection between data points) and subject to various constraints imposed by the type and size of the RNN in question. This implies the existence of a hard limit (way below the information-theoretic one) for the distance between related data points within which RNNs are still able to recognize said relation.
• Abstract（参考訳）: あらゆる種類のリカレントニューラルネットワーク(RNN)には、時間を通してデータポイント間の関係をモデル化する意図がある。 後続のデータポイント(例えば乱数でデータポイントが生成される場合など)の間に即時的な関係がない場合、RNNは標準的なバックプロパゲーションを用いてそれらを記憶することで、いくつかのデータポイントをシーケンスに戻すことができることを示す。 しかし,従来の RNN や LSTM や GRU では,この方法で再現可能な再帰呼び出し間のデータ点間距離は極めて制限され(データ点間のゆるい接続でさえも),問題となる RNN のタイプやサイズによって課される様々な制約が課されることも示している。 これは、rnnがその関係を認識できる関連するデータポイント間の距離に対するハードリミット(情報理論上のリミットより下)の存在を意味する。

関連論文リスト

• Delay Neural Networks (DeNN) for exploiting temporal information in event-based datasets [49.1574468325115]
  遅延ニューラルネットワーク(DeNN)は、前方と後方の両方でスパイクの正確な時間的情報を明示的に使用するように設計されている。 特に時間情報が重要であるデータセットでは、優れたパフォーマンスが得られます。
  論文  参考訳（メタデータ） (2025-01-10T14:58:15Z)
• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Time Series Imputation with Multivariate Radial Basis Function Neural Network [1.6804613362826175]
  放射基底関数ニューラルネットワーク(RBFNN)に基づく時系列計算モデルを提案する。 我々の計算モデルは、タイムスタンプから局所情報を学習し、連続関数を生成する。 我々はMIM-RBFNNが生成した連続関数を用いたMIRNN-CF(Missing Value Imputation Recurrent Neural Network)と呼ばれる拡張を提案する。
  論文  参考訳（メタデータ） (2024-07-24T07:02:16Z)
• Kernel Limit of Recurrent Neural Networks Trained on Ergodic Data Sequences [0.0]
  我々は、リカレントニューラルネットワーク(RNN)の接点を、隠されたユニットの数、シーケンス内のデータサンプル、隠された状態更新、トレーニングステップを同時に無限に成長させるものとして特徴づける。 これらの手法は、データサンプルの数とニューラルネットワークのサイズが無限に増加するにつれて、データシーケンスに基づいてトレーニングされたRNNのニューラルネットワーク(NTK)制限を引き起こす。
  論文  参考訳（メタデータ） (2023-08-28T13:17:39Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
  本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。 要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
  論文  参考訳（メタデータ） (2022-10-01T21:17:39Z)
• Task-Synchronized Recurrent Neural Networks [0.0]
  リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。 我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。 我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
  論文  参考訳（メタデータ） (2022-04-11T15:27:40Z)
• Recurrence-in-Recurrence Networks for Video Deblurring [58.49075799159015]
  最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。 本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-12T11:58:13Z)
• Recurrent Neural Networks for Learning Long-term Temporal Dependencies with Reanalysis of Time Scale Representation [16.32068729107421]
  時間的表現としての忘れ門の解釈は、状態に対する損失の勾配が時間とともに指数関数的に減少するときに有効であると主張する。 本稿では,従来のモデルよりも長い時間スケールを表現できる新しいRNNの構築手法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T06:22:58Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)
• Assessing the Memory Ability of Recurrent Neural Networks [21.88086102298848]
  リカレントニューラルネットワーク(RNN)は、シークエンスによって表現されるセマンティック情報の一部を、その隠されたレイヤで記憶することができる。 異なるタイプのリカレントユニットは、RNNが長期間にわたって情報を記憶できるように設計されている。 異なるリカレントユニットの記憶能力は理論上も経験上も不明である。
  論文  参考訳（メタデータ） (2020-02-18T08:07:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。