Fugu-MT 論文翻訳(概要): Memory Capacity of Nonlinear Recurrent Networks: Is it Informative?

論文の概要: Memory Capacity of Nonlinear Recurrent Networks: Is it Informative?

arxiv url: http://arxiv.org/abs/2502.04832v1
Date: Fri, 07 Feb 2025 11:06:30 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-10 14:58:18.738900
Title: Memory Capacity of Nonlinear Recurrent Networks: Is it Informative?
Title（参考訳）: 非線形リカレントネットワークのメモリ容量:非形式的か?
Authors: Giovanni Ballarin, Lyudmila Grigoryeva, Juan-Pablo Ortega,
Abstract要約: 線形リカレントニューラルネットワーク(RNN)の総メモリ容量(MC)は、対応するカルマン制御性行列のランクに等しいことが証明されている。この事実は、信号処理における線形RNNの性能を区別する上で、この指標の有用性に疑問を呈する。
参考スコア（独自算出の注目度）: 5.03863830033243
License:
Abstract: The total memory capacity (MC) of linear recurrent neural networks (RNNs) has been proven to be equal to the rank of the corresponding Kalman controllability matrix, and it is almost surely maximal for connectivity and input weight matrices drawn from regular distributions. This fact questions the usefulness of this metric in distinguishing the performance of linear RNNs in the processing of stochastic signals. This note shows that the MC of random nonlinear RNNs yields arbitrary values within established upper and lower bounds depending just on the input process scale. This confirms that the existing definition of MC in linear and nonlinear cases has no practical value.
Abstract（参考訳）: 線形リカレントニューラルネットワーク(RNN)の総メモリ容量(MC)は、対応するカルマン制御性行列のランクに等しいことが証明されており、通常の分布から引き出された接続性と入力重量行列に対してほぼ確実に最大である。この事実は、確率的信号処理における線形RNNの性能を区別する上で、この指標の有用性に疑問を呈する。このノートは、ランダム非線形RNNのMCが、入力プロセススケールのみに依存する確立された上界と下界の任意の値を得ることを示している。これは、線型および非線形の場合における既存のMCの定義が実用的価値を持たないことを裏付ける。

関連論文リスト

Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
線形表現仮説(LRH)に対する反例を提示する。入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
論文参考訳（メタデータ） (2024-08-20T15:04:37Z)
Metric-Entropy Limits on Nonlinear Dynamical System Learning [4.069144210024563]
本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
論文参考訳（メタデータ） (2024-07-01T12:57:03Z)
Error Correction Capabilities of Non-Linear Cryptographic Hash Functions [56.368766255147555]
線形ハッシュは誤り訂正能力を有することが知られている。ほとんどのアプリケーションでは、擬似ランダム出力を持つ非線形ハッシュが代わりに使用される。また,非線形ハッシュは誤り訂正能力に優れる可能性が示唆された。
論文参考訳（メタデータ） (2024-05-02T17:26:56Z)
Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
論文参考訳（メタデータ） (2024-03-15T12:00:37Z)
Inverse Approximation Theory for Nonlinear Recurrent Neural Networks [28.840757822712195]
我々は、リカレントニューラルネットワーク(RNN)を用いた非線形列列列関係の近似に対する逆近似定理を証明した。非線形RNNによって安定に近似できる非線形シーケンス関係は指数的に減衰するメモリ構造を持つ必要があることを示す。これにより、線形RNNにおける以前同定されたメモリの呪いが一般的な非線形設定に拡張される。
論文参考訳（メタデータ） (2023-05-30T16:34:28Z)
Memory of recurrent networks: Do we compute it right? [5.03863830033243]
線形エコー状態ネットワークの場合、メモリ総容量はカルマン制御性行列のランクに等しいことが証明された。これらの問題は、近年の文献では見落とされがちだが、あくまでも数値的な性質である。
論文参考訳（メタデータ） (2023-05-02T14:37:52Z)
Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
論文参考訳（メタデータ） (2022-07-13T22:55:04Z)
Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文参考訳（メタデータ） (2022-06-15T22:42:29Z)
Implicit Bias of Linear RNNs [27.41989861342218]
リニアリカレントニューラルネットワーク(RNN)は、長期記憶を必要とするタスクではうまく機能しない。本稿では,線形RNNの特殊な場合において,この性質を厳密に説明する。近年開発されたカーネル構造解析を用いて,線形RNNは特定の重み付き1次元畳み込みネットワークと機能的に等価であることを示す。
論文参考訳（メタデータ） (2021-01-19T19:39:28Z)
Nonlinear State-Space Generalizations of Graph Convolutional Neural Networks [172.18295279061607]
グラフ畳み込みニューラルネットワーク(GCNN)は、線形グラフ畳み込みを非線形にネストすることで、ネットワークデータから構成表現を学習する。本稿では,GCNNを状態空間の観点からアプローチし,グラフ畳み込みモジュールが最小値線形状態空間モデルであることを明らかにする。この状態更新は、非パラメトリックであり、グラフスペクトルによって爆発または消滅する可能性があるため、問題となる可能性がある。本稿では,非線形な状態空間パラメトリック方式でノード特徴を階層内に集約し,よりよいトレードオフを実現するという,新しい結節集合規則を提案する。
論文参考訳（メタデータ） (2020-10-27T19:48:56Z)
Matrix Smoothing: A Regularization for DNN with Transition Matrix under Noisy Labels [54.585681272543056]
ノイズラベルの存在下でのディープニューラルネットワーク(DNN)のトレーニングは重要かつ困難な課題である。最近の確率論的手法はDNNへの遷移行列を直接適用し、DNNの過剰適合に対する感受性を無視する。そこで本稿では,DNN更新にスムーズな遷移行列を用いてオーバーフィッティングを制限する手法を提案する。
論文参考訳（メタデータ） (2020-03-26T13:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。