論文の概要: How Temporal Correlations Shape Memory in Linear Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2609.00420v1
- Date: Mon, 31 Aug 2026 21:57:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.106516
- Title: How Temporal Correlations Shape Memory in Linear Recurrent Neural Networks
- Title（参考訳）: リニアリカレントニューラルネットワークにおける形状記憶の時間相関
- Abstract要約: トレーニング中にネットワークがどれだけのメモリを蓄積するかを研究する。
非相関的な入力については、トレーニング自体が過去を維持し、現在にのみ反応するネットワークを落ち着かせることが初期の研究で判明した。
私たちの研究は、入力の1つの特性を、ネットワークがメモリを学習するかどうかの予測に変換する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The linear recurrent neural network (LRNN) is a simple model for studying how much memory a network builds up as it trains. For uncorrelated inputs, earlier work found that training itself settles the network between keeping the past and reacting only to the present. Real sequences are correlated, and we solve the learning dynamics exactly for correlated inputs. In the solution, keeping the past carries a cost. The whole effect of correlation lands on that cost. This cost reduces to the earlier one when inputs are uncorrelated and grows once they are positively correlated. Three findings follow. (1) Correlation reshapes the course of learning, not only its end. Memory builds, overshoots, and is partly removed, and the settled network keeps less of the past. (2) Memory switches off at a threshold set by one number, how much each input resembles the one just before it. Neither sequence length nor longer-range correlation moves this threshold. Memory is worth keeping only when the task needs the previous input more than the current input already supplies it through correlation with the past. (3) The best network changes too. Zero error demands a feedthrough, a path that passes the current input straight to the network's output and remembers nothing, and training builds it unprompted when given one spare hidden dimension. Our work turns one property of the input into a prediction of whether a network learns memory and explains why correlated data turns recurrent networks into change detectors.
- Abstract（参考訳）: リニアリカレントニューラルネットワーク(LRNN)は、ネットワークがトレーニング中にどれだけのメモリを蓄積するかを研究するための単純なモデルである。
非相関的な入力については、トレーニング自体が過去を維持し、現在にのみ反応するネットワークを落ち着かせることが初期の研究で判明した。
実列は相関しており、相関入力に対して正確に学習力学を解く。
ソリューションでは、過去の維持にはコストがかかる。
相関のすべての影響は、そのコストに当てはまる。
このコストは、入力が非相関であり、正に相関して成長すると、初期のコストに低下する。
以下の3つの発見がある。
1) 学習の行程は, 目的だけでなく, 関連性に反する。
メモリはビルドされ、オーバーシュートされ、部分的に削除される。
(2) メモリは1つの数値で設定されたしきい値でスイッチオフする。
シーケンス長も長距離相関もこの閾値を動かさない。
メモリは、タスクが以前の入力を必要とする場合にのみ保持する価値がある。
(3) 最良のネットワークも変更される。
ゼロエラーではフィードスルーが要求され、現在の入力をネットワークの出力に直接渡すパスが何も覚えていない。
我々の研究は、入力の1つの特性を、ネットワークがメモリを学習するかどうかの予測に変換し、相関したデータがリカレントネットワークを変更検出器に変える理由を説明する。
関連論文リスト
- The Organization of Environmental Coupling Shapes What Quantum Reservoirs Remember [2.34764060945577]
量子貯水池計算は、固定された量子力学を持つ入力ストリームを処理し、線形リードアウトのみを訓練する。
散逸は古い入力が消える可能性があるが、以前の研究は一般的に環境プロセスを修正し、その強さだけを調整していた。
ここでは、遷移が分離されたか共有された環境チャネルに繋がるかどうかという結合パターンが、入力履歴のどの部分がアクセス可能であるのかを数値的に示す。
論文 参考訳（メタデータ） (2026-08-14T10:54:51Z) - Efficient Sparse Selective-Update RNNs for Long-Range Sequence Modeling [16.27516369166629]
Selective-Update RNN(suRNN)は、入力が冗長であるときにメモリを保存することを学習する非線形アーキテクチャである。
情報イベントのみをオープンするニューロンレベルのバイナリスイッチを使用することで、SuRNNは、繰り返し更新を生のシーケンス長から切り離す。
Long Range Arena、WikiText、その他の総合ベンチマークの実験では、SuRNNはより複雑なモデルの精度と一致するか、超えるかを示している。
論文 参考訳（メタデータ） (2026-02-11T14:50:07Z) - Inverted Activations: Reducing Memory Footprint in Neural Network Training [5.070981175240306]
ニューラルネットワークトレーニングにおける重要な課題は、アクティベーションテンソルに関連するメモリフットプリントである。
本稿では, 点方向非線形層におけるアクティベーションテンソルの取扱いの修正を提案する。
本手法は,トレーニング精度や計算性能に影響を与えることなく,メモリ使用量を大幅に削減できることを示す。
論文 参考訳（メタデータ） (2024-07-22T11:11:17Z) - Can Neural Network Memorization Be Localized? [102.68044087952913]
記憶化は、モデルの様々な層において、小さなニューロンの集合に限られる現象であることを示す。
我々は、サンプルの記憶をai決定されたニューロンに直接記憶できる新しい形式のドロップアウト -- $textitexample-tied dropout$を提案する。
論文 参考訳（メタデータ） (2023-07-18T18:36:29Z) - Moccasin: Efficient Tensor Rematerialization for Neural Networks [21.348126106786914]
我々はtextscMoccasin という新しい制約プログラミングの定式化を開発し,O(n)$ の整数変数しか持たない。
本稿では,特に大規模グラフにおいて,我々のアプローチが最近の研究よりも桁違いに高速であることを示す数値的研究について述べる。
論文 参考訳（メタデータ） (2023-04-27T18:41:37Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Least Redundant Gated Recurrent Neural Network [0.0]
我々は、Deep Memory Update (DMU)と呼ばれるリカレントニューラルネットワークを導入する。
これは、ラグ状態とネットワーク入力の深い変換により、前のメモリ状態を更新することに基づいている。
学習速度をモジュールのサイズに関連付けるため、トレーニングは安定して高速である。
論文 参考訳（メタデータ） (2021-05-28T20:24:00Z) - Reservoir Stack Machines [77.12475691708838]
メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。
本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。
以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
論文 参考訳（メタデータ） (2021-05-04T16:50:40Z) - Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural
Networks [47.52214243454995]
繰り返しニューラルネットワーク(RNN)を訓練する一般的な戦略は、各ステップで入力として地上の真実を取ることです。
本稿では,RNNの長期的依存関係をよりよく把握するための,完全微分可能なトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-22T06:15:22Z) - Neural Random Projection: From the Initial Task To the Input Similarity
Problem [0.0]
ニューラルネットワークを用いた入力データの類似性を評価するために,暗黙データ表現のための新しい手法を提案する。
提案手法は初期タスクを明示的に考慮し,ベクトル表現のサイズを大幅に削減する。
実験の結果,提案手法は入力類似性タスクにおける競合的な結果が得られることがわかった。
論文 参考訳（メタデータ） (2020-10-09T13:20:24Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - On the distance between two neural networks and the stability of
learning [59.62047284234815]
本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。
この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
論文 参考訳（メタデータ） (2020-02-09T19:18:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。