論文の概要: On the Universality of Linear Recurrences Followed by Nonlinear Projections

• arxiv url: http://arxiv.org/abs/2307.11888v1
• Date: Fri, 21 Jul 2023 20:09:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 19:20:18.586096
• Title: On the Universality of Linear Recurrences Followed by Nonlinear Projections
• Title（参考訳）: 線形再帰と非線形射影の普遍性について
• Authors: Antonio Orvieto, Soham De, Caglar Gulcehre, Razvan Pascanu, Samuel L. Smith
• Abstract要約: 位置対応多層パーセプトロン(MLP)をインターリーブしたリカレント線形層(S4,S5,LRUを含む)に基づくシーケンスモデル群は,任意の正則な非線形列列列列マップを任意に近似することができることを示す。
• 参考スコア（独自算出の注目度）: 40.25865046607641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this note (work in progress towards a full-length paper) we show that a family of sequence models based on recurrent linear layers~(including S4, S5, and the LRU) interleaved with position-wise multi-layer perceptrons~(MLPs) can approximate arbitrarily well any sufficiently regular non-linear sequence-to-sequence map. The main idea behind our result is to see recurrent layers as compression algorithms that can faithfully store information about the input sequence into an inner state, before it is processed by the highly expressive MLP.
• Abstract（参考訳）: 本項では、(S4, S5, LRUを含む)リカレント線形層~に基づく列モデルの族が、位置対応多層パーセプトロン~(MLP)とインターリーブされ、任意の正則な非線形列列列列写像を任意に近似することができることを示す。 結果の背景にある主な考え方は、非常に表現力の高いMLPによって処理される前に、入力シーケンスに関する情報を内部状態に忠実に保存できる圧縮アルゴリズムとして、繰り返しのレイヤを見ることである。

関連論文リスト

• Almost-Linear RNNs Yield Highly Interpretable Symbolic Codes in Dynamical Systems Reconstruction [8.473495734873872]
  本稿では,時系列データから動的システム(DS)のPWL表現を自動的かつ堅牢に生成する,ニアリカレントニューラルネットワーク(AL-RNN)を提案する。 AL-RNNは、動的システム再構成(DSR)のための任意のSOTAアルゴリズムで効率的に訓練できる 我々は,ロレンツとR"オスラー系に対して,AL-RNNが純粋にデータ駆動方式で,対応するカオスアトラクションの位相的に最小のPWL表現を発見することを示す。
  論文  参考訳（メタデータ） (2024-10-18T07:44:12Z)
• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Universal In-Context Approximation By Prompting Fully Recurrent Models [86.61942787684272]
  RNN,LSTM,GRU,Linear RNN,Linear RNN,Line gated Architecturesは,汎用のインコンテキスト近似器として機能することを示す。 完全反復アーキテクチャにコンパイルするLSRLというプログラミング言語を導入する。
  論文  参考訳（メタデータ） (2024-06-03T15:25:13Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Assessing the Unitary RNN as an End-to-End Compositional Model of Syntax [0.0]
  LSTMとユニタリ進化リカレントニューラルネットワーク(URN)の両方が,2種類の構文パターンの精度を高めることができることを示す。
  論文  参考訳（メタデータ） (2022-08-11T09:30:49Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。