論文の概要: Memory of recurrent networks: Do we compute it right?

• arxiv url: http://arxiv.org/abs/2305.01457v2
• Date: Tue, 10 Sep 2024 07:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 00:08:16.355268
• Title: Memory of recurrent networks: Do we compute it right?
• Title（参考訳）: リカレントネットワークのメモリ: 正しく計算できるだろうか?
• Authors: Giovanni Ballarin, Lyudmila Grigoryeva, Juan-Pablo Ortega,
• Abstract要約: 線形エコー状態ネットワークの場合、メモリ総容量はカルマン制御性行列のランクに等しいことが証明された。 これらの問題は、近年の文献では見落とされがちだが、あくまでも数値的な性質である。
• 参考スコア（独自算出の注目度）: 5.03863830033243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerical evaluations of the memory capacity (MC) of recurrent neural networks reported in the literature often contradict well-established theoretical bounds. In this paper, we study the case of linear echo state networks, for which the total memory capacity has been proven to be equal to the rank of the corresponding Kalman controllability matrix. We shed light on various reasons for the inaccurate numerical estimations of the memory, and we show that these issues, often overlooked in the recent literature, are of an exclusively numerical nature. More explicitly, we prove that when the Krylov structure of the linear MC is ignored, a gap between the theoretical MC and its empirical counterpart is introduced. As a solution, we develop robust numerical approaches by exploiting a result of MC neutrality with respect to the input mask matrix. Simulations show that the memory curves that are recovered using the proposed methods fully agree with the theory.
• Abstract（参考訳）: 文献で報告されたリカレントニューラルネットワークのメモリ容量(MC)の数値評価は、よく確立された理論的境界に矛盾することが多い。 本稿では, 線形エコー状態ネットワークの場合, 総メモリ容量が対応するカルマン制御性行列のランクに等しいことが証明された。 メモリの不正確な数値推定の様々な理由に光を当て、最近の文献でしばしば見過ごされるこれらの問題は、排他的な数値的性質であることを示す。 より具体的には、線型MCのクリロフ構造が無視されるとき、理論MCと経験的MCとのギャップが導入されたことを証明している。 提案手法は,入力マスク行列に対するMC中立性の結果を利用して,ロバストな数値計算手法を開発する。 シミュレーションにより,提案手法を用いて復元したメモリ曲線は理論に完全に一致することが示された。

関連論文リスト

• Applications of flow models to the generation of correlated lattice QCD ensembles [69.18453821764075]
  機械学習された正規化フローは、格子量子場理論の文脈で、異なる作用パラメータで格子ゲージ場の統計的に相関したアンサンブルを生成するために用いられる。 本研究は,これらの相関を可観測物の計算における分散低減に活用する方法を実証する。
  論文  参考訳（メタデータ） (2024-01-19T18:33:52Z)
• The Decimation Scheme for Symmetric Matrix Factorization [0.0]
  行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。 我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。 本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:53:45Z)
• Inferring networks from time series: a neural approach [3.115375810642661]
  本稿では,ニューラルネットワークを用いて時系列データから大規模ネットワーク隣接行列を推定する強力な計算手法を提案する。 電力カットに対する応答から、英国電力網の線路故障箇所を推定することで、我々の能力を実証する。
  論文  参考訳（メタデータ） (2023-03-30T15:51:01Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Log-linear Guardedness and its Implications [116.87322784046926]
  線形性を仮定する神経表現から人間の解釈可能な概念を消去する方法は、抽出可能で有用であることが判明した。 この研究は、対数線ガードネスの概念を、敵が表現から直接その概念を予測することができないものとして正式に定義している。 バイナリの場合、ある仮定の下では、下流の対数線形モデルでは消去された概念を復元できないことを示す。
  論文  参考訳（メタデータ） (2022-10-18T17:30:02Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Cram\'er-Rao bound-informed training of neural networks for quantitative MRI [11.964144201247198]
  ニューラルネットワークは、定量的MRI、特に磁気共鳴フィンガープリントでパラメーターを推定するためにますます使われている。 それらの利点は、より優れた速度と非効率な非バイアス推定器の優位性である。 しかし、不均一なパラメータを推定することは困難である。 CRBを用いて二乗誤差を正規化するClam'erRao損失関数を提案する。
  論文  参考訳（メタデータ） (2021-09-22T06:38:03Z)
• Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions [8.627408356707525]
  エルゴード的伊藤拡散の機械学習の理論的基盤について検討する。 ドリフト係数と拡散係数の学習における誤差に対する1点および2点不変統計量の誤差の線形依存性を導出する。
  論文  参考訳（メタデータ） (2021-05-21T02:55:59Z)
• Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction [63.202627467245584]
  我々は,モデル不連続な不確かさを定量化するベイズ変分フレームワークを提案する。 提案手法はMRIのアンダーサンプを用いた再建術の術後成績を示す。
  論文  参考訳（メタデータ） (2021-02-12T18:08:14Z)
• Constant-Expansion Suffices for Compressed Sensing with Generative Priors [26.41623833920794]
  我々は、ベシッツではなく、リピート理論性の緩和された概念を満たすようなランダム関数に対する新しい一様濃度を証明した。 WDCは、この問題に関するすべての理論的保証の基本的な集中不等式であるため、我々の既知のすべての改善は、1つ、低ビットリカバリなど、先行した結果に結びついている。
  論文  参考訳（メタデータ） (2020-06-07T19:14:41Z)
• Dropout: Explicit Forms and Capacity Control [57.36692251815882]
  各種機械学習問題におけるドロップアウトによるキャパシティ制御について検討する。 ディープラーニングでは、ドロップアウトによるデータ依存型正規化器が、基礎となるディープニューラルネットワークのクラスであるRademacherの複雑さを直接制御していることを示す。 MovieLens, MNIST, Fashion-MNISTなどの実世界のデータセットに関する理論的知見を評価する。
  論文  参考訳（メタデータ） (2020-03-06T19:10:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。