論文の概要: Learning and Generalization in RNNs
- arxiv url: http://arxiv.org/abs/2106.00047v1
- Date: Mon, 31 May 2021 18:27:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 14:14:55.190579
- Title: Learning and Generalization in RNNs
- Title(参考訳): RNNにおける学習と一般化
- Authors: Abhishek Panigrahi, Navin Goyal
- Abstract要約: 単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。
新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
- 参考スコア(独自算出の注目度): 11.107204912245841
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Simple recurrent neural networks (RNNs) and their more advanced cousins LSTMs
etc. have been very successful in sequence modeling. Their theoretical
understanding, however, is lacking and has not kept pace with the progress for
feedforward networks, where a reasonably complete understanding in the special
case of highly overparametrized one-hidden-layer networks has emerged. In this
paper, we make progress towards remedying this situation by proving that RNNs
can learn functions of sequences. In contrast to the previous work that could
only deal with functions of sequences that are sums of functions of individual
tokens in the sequence, we allow general functions. Conceptually and
technically, we introduce new ideas which enable us to extract information from
the hidden state of the RNN in our proofs -- addressing a crucial weakness in
previous work. We illustrate our results on some regular language recognition
problems.
- Abstract(参考訳): 単純なリカレントニューラルネットワーク(RNN)とそのより高度な従兄弟LSTMなど。
シーケンスモデリングに非常に成功しています
しかし、それらの理論的な理解は不十分であり、フィードフォワードネットワークの進展に追随していない。
本稿では、RNNがシーケンスの関数を学習できることを証明し、この状況を改善するために前進する。
シーケンス内の個々のトークンの関数の和であるシーケンスの関数のみを扱うことができる以前の作業とは対照的に、一般的な関数を許容する。
概念的に、技術的に、我々は証明の中でrnnの隠れた状態から情報を抽出することができる新しいアイデアを紹介します。
本稿では,正規言語認識問題について概説する。
関連論文リスト
- Episodic Memory Theory for the Mechanistic Interpretation of Recurrent
Neural Networks [3.683202928838613]
本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。
本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。
実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-10-03T20:52:37Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Implicit N-grams Induced by Recurrence [10.053475465955794]
本稿では,隠された状態内に存在する説明可能な構成要素が実際に存在することを示す。
下流感情分析課題において, 訓練されたRNNから抽出した特徴を抽出し, 興味深い言語現象のモデル化に有効であることを確認した。
論文 参考訳(メタデータ) (2022-05-05T15:53:46Z) - Simplicial Attention Networks [4.401427499962144]
SNN(Simplicial Neural Networks)は、simplicial Complex上でメッセージパッシングを実行することによって、自然な相互作用をモデル化する。
Simplicial Attention Networks (SAT) は,近隣のsimplicial間の相互作用を動的に重み付けする,新しいタイプのsimplicial Networks を提案する。
SATは、既存の畳み込みSNNとGNNを2つの画像および軌跡分類タスクで上回ることを示す。
論文 参考訳(メタデータ) (2022-04-20T13:41:50Z) - Reinforcement Learning with External Knowledge by using Logical Neural
Networks [67.46162586940905]
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T12:34:59Z) - Thinking Deeply with Recurrence: Generalizing from Easy to Hard
Sequential Reasoning Problems [51.132938969015825]
我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。
再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
論文 参考訳(メタデータ) (2021-02-22T14:09:20Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Internal representation dynamics and geometry in recurrent neural
networks [10.016265742591674]
本稿では,バニラRNNがネットワークのダイナミクスを解析することにより,単純な分類タスクを実現する方法を示す。
初期の内部表現はデータの実際のラベルから解放されるが、この情報は出力層に直接アクセスできない。
論文 参考訳(メタデータ) (2020-01-09T23:19:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。