論文の概要: Contraction Properties of the Global Workspace Primitive
- arxiv url: http://arxiv.org/abs/2310.01571v1
- Date: Mon, 2 Oct 2023 19:04:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 19:06:46.271372
- Title: Contraction Properties of the Global Workspace Primitive
- Title（参考訳）: グローバルワークスペースプリミティブの収縮特性
- Authors: Michaela Ennis, Leo Kozachkov, Jean-Jacques Slotine
- Abstract要約: 我々は,Kozachkovらが導入したRNNの安定なRNNを理論的,実証的に拡張する。
我々は、少数のトレーニング可能なパラメータを持つGlobal Workspace Sparse Combo Netsの実証的な成功を示す。
異なるサブネットワークモジュール間の接続構造における疎結合性を探索することにより,安定したRNNのための技術性能を向上させる。
- 参考スコア（独自算出の注目度）: 3.069335774032178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To push forward the important emerging research field surrounding multi-area
recurrent neural networks (RNNs), we expand theoretically and empirically on
the provably stable RNNs of RNNs introduced by Kozachkov et al. in "RNNs of
RNNs: Recursive Construction of Stable Assemblies of Recurrent Neural
Networks". We prove relaxed stability conditions for salient special cases of
this architecture, most notably for a global workspace modular structure. We
then demonstrate empirical success for Global Workspace Sparse Combo Nets with
a small number of trainable parameters, not only through strong overall test
performance but also greater resilience to removal of individual subnetworks.
These empirical results for the global workspace inter-area topology are
contingent on stability preservation, highlighting the relevance of our
theoretical work for enabling modular RNN success. Further, by exploring
sparsity in the connectivity structure between different subnetwork modules
more broadly, we improve the state of the art performance for stable RNNs on
benchmark sequence processing tasks, thus underscoring the general utility of
specialized graph structures for multi-area RNNs.
- Abstract（参考訳）: 多領域リカレントニューラルネットワーク(rnn)を取り巻く重要な新興研究分野を推進するために、kozachkovらが"rnn of rnns: recursive construction of stable assemblies of recurrent neural networks"で紹介したrnnの理論的および実証的に拡張する。
我々は、このアーキテクチャの特別な場合、特にグローバルワークスペースモジュラー構造において、安定条件が緩和されたことを証明した。
次に、グローバルなワークスペースのスパースコンボネットにおいて、少量のトレーニング可能なパラメータで実証的な成功を示し、強力なテストパフォーマンスだけでなく、個々のサブネットワークの除去に対するレジリエンスも向上させた。
グローバルワークスペース間トポロジにおけるこれらの実験結果は安定性の維持に重きを置いており、モジュラーRNNの成功を実現するための理論的研究の意義を強調している。
さらに、異なるサブネットワークモジュール間の接続構造をより広範囲に拡張することにより、ベンチマークシーケンス処理タスクにおける安定したrnnの技術性能を向上し、多領域rnnのための特殊グラフ構造の汎用性を高める。
関連論文リスト
- Episodic Memory Theory for the Mechanistic Interpretation of Recurrent
Neural Networks [3.683202928838613]
本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。
本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。
実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
論文 参考訳（メタデータ） (2023-10-03T20:52:37Z) - Intrinsic and extrinsic deep learning on manifolds [2.207988653560308]
固有ディープニューラルネットワーク(intrinsic Deep Neural Network, IDNN)は、指数写像と対数写像を通じて、多様体の基底となる固有幾何を包含する。
我々は、eDNNとiDNNの実証リスク最小化器(ERM)の実証リスクが最適な速度で収束していることを証明する。
eDNNsフレームワークはシンプルで簡単に計算できるが、iDNNsフレームワークは正確で高速な収束である。
論文 参考訳（メタデータ） (2023-02-16T22:10:38Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Lyapunov-Guided Representation of Recurrent Neural Network Performance [9.449520199858952]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。
本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。
各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
論文 参考訳（メタデータ） (2022-04-11T05:38:38Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Scalable Neural Tangent Kernel of Recurrent Architectures [8.487185704099923]
無限幅のディープニューラルネットワーク(DNN)から派生したカーネルは、機械学習タスクの範囲で高いパフォーマンスを提供する。
我々は、リカレントニューラルネットワーク(RNN)に関連するカーネルのファミリーを、平均プーリングを持つ双方向RNNとRNNであるより複雑なアーキテクチャに拡張する。
論文 参考訳（メタデータ） (2020-12-09T04:36:34Z) - Regularizing Recurrent Neural Networks via Sequence Mixup [7.036759195546171]
我々は、元々フィードフォワードニューラルネットワークのために提案された一連の有望な正規化手法を拡張した。
提案手法は,単純なニューラルネットワークアーキテクチャの性能を生かしながら,複雑性の実装が容易である。
論文 参考訳（メタデータ） (2020-11-27T05:43:40Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。