論文の概要: On the Universality of Linear Recurrences Followed by Nonlinear
Projections
- arxiv url: http://arxiv.org/abs/2307.11888v1
- Date: Fri, 21 Jul 2023 20:09:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 19:20:18.586096
- Title: On the Universality of Linear Recurrences Followed by Nonlinear
Projections
- Title(参考訳): 線形再帰と非線形射影の普遍性について
- Authors: Antonio Orvieto, Soham De, Caglar Gulcehre, Razvan Pascanu, Samuel L.
Smith
- Abstract要約: 位置対応多層パーセプトロン(MLP)をインターリーブしたリカレント線形層(S4,S5,LRUを含む)に基づくシーケンスモデル群は,任意の正則な非線形列列列列マップを任意に近似することができることを示す。
- 参考スコア(独自算出の注目度): 40.25865046607641
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this note (work in progress towards a full-length paper) we show that a
family of sequence models based on recurrent linear layers~(including S4, S5,
and the LRU) interleaved with position-wise multi-layer perceptrons~(MLPs) can
approximate arbitrarily well any sufficiently regular non-linear
sequence-to-sequence map. The main idea behind our result is to see recurrent
layers as compression algorithms that can faithfully store information about
the input sequence into an inner state, before it is processed by the highly
expressive MLP.
- Abstract(参考訳): 本項では、(S4, S5, LRUを含む)リカレント線形層~に基づく列モデルの族が、位置対応多層パーセプトロン~(MLP)とインターリーブされ、任意の正則な非線形列列列列写像を任意に近似することができることを示す。
結果の背景にある主な考え方は、非常に表現力の高いMLPによって処理される前に、入力シーケンスに関する情報を内部状態に忠実に保存できる圧縮アルゴリズムとして、繰り返しのレイヤを見ることである。
関連論文リスト
- ParFam -- Symbolic Regression Based on Continuous Global Optimization [15.454555090287922]
本稿では,離散的記号回帰問題を連続的な問題に変換するためにParFamを提案する。
強力なグローバルアプローチと組み合わせることで、この手法はシンボリック回帰の問題に取り組む効果的な方法である。
SRベンチマークのSRBenchに基づく数値実験によりParFamの性能を実証する。
論文 参考訳(メタデータ) (2023-10-09T09:01:25Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Assessing the Unitary RNN as an End-to-End Compositional Model of Syntax [0.0]
LSTMとユニタリ進化リカレントニューラルネットワーク(URN)の両方が,2種類の構文パターンの精度を高めることができることを示す。
論文 参考訳(メタデータ) (2022-08-11T09:30:49Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Reverse engineering recurrent neural networks with Jacobian switching
linear dynamical systems [24.0378100479104]
リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。
トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。
本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-11-01T20:49:30Z) - Sample Efficient Reinforcement Learning In Continuous State Spaces: A
Perspective Beyond Linearity [50.38337893712897]
線形性を仮定しないMDP上の構造条件であるEPW(Effective Planning Window)条件を導入する。
EPW条件は、この条件を満たすMDPを確実に解くアルゴリズムを提供することで、サンプル効率のよいRLを許容することを示した。
また, EPW のような条件の必要性も示し, わずかに非線形な単純な MDP を効率的にサンプリングできないことを示した。
論文 参考訳(メタデータ) (2021-06-15T00:06:59Z) - Learning Generative Prior with Latent Space Sparsity Constraints [25.213673771175692]
自然像の分布は1つの多様体にではなく、むしろいくつかの部分多様体の結合にあると論じられている。
本稿では,スペーサ性駆動型潜時空間サンプリング(SDLSS)フレームワークを提案し,PMLアルゴリズムを用いて潜時空間のスペーサ性を実現する。
その結果, SDLSS法は, 高次圧縮では最先端法よりも効率が高いことがわかった。
論文 参考訳(メタデータ) (2021-05-25T14:12:04Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。