論文の概要: On The Expressivity of Recurrent Neural Cascades

• arxiv url: http://arxiv.org/abs/2312.09048v2
• Date: Fri, 6 Sep 2024 12:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 20:43:32.724859
• Title: On The Expressivity of Recurrent Neural Cascades
• Title（参考訳）: リカレントニューラルカスケードの表現性について
• Authors: Nadezda Alexandrovna Knorozova, Alessandro Ronca,
• Abstract要約: リカレントニューラルカスケード(Recurrent Neural Cascades、RNC)は、リカレントニューラルネットワークであり、リカレントニューロン間で循環的依存を持たない。 RNCは、グループを実装可能なニューロンを導入することで、すべての正規言語を表現できることを示す。
• 参考スコア（独自算出の注目度）: 48.87943990557107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent Neural Cascades (RNCs) are the recurrent neural networks with no cyclic dependencies among recurrent neurons. This class of recurrent networks has received a lot of attention in practice. Besides training methods for a fixed architecture such as backpropagation, the cascade architecture naturally allows for constructive learning methods, where recurrent nodes are added incrementally one at a time, often yielding smaller networks. Furthermore, acyclicity amounts to a structural prior that even for the same number of neurons yields a more favourable sample complexity compared to a fully-connected architecture. A central question is whether the advantages of the cascade architecture come at the cost of a reduced expressivity. We provide new insights into this question. We show that the regular languages captured by RNCs with sign and tanh activation with positive recurrent weights are the star-free regular languages. In order to establish our results we developed a novel framework where capabilities of RNCs are accessed by analysing which semigroups and groups a single neuron is able to implement. A notable implication of our framework is that RNCs can achieve the expressivity of all regular languages by introducing neurons that can implement groups.
• Abstract（参考訳）: リカレントニューラルカスケード(Recurrent Neural Cascades、RNC)は、リカレントニューラルネットワークであり、リカレントニューロン間で循環的依存を持たない。 この種のリカレントネットワークは、実際に多くの注目を集めている。 バックプロパゲーションのような固定されたアーキテクチャのトレーニング方法に加えて、カスケードアーキテクチャは自然に構築的な学習方法を可能にする。 さらに、非巡回性は、同じ数のニューロンであっても、完全に連結されたアーキテクチャに比べてより好ましいサンプル複雑性をもたらす構造的先行性を持つ。 中心的な問題は、カスケードアーキテクチャの利点が表現力の低下によるものであるかどうかである。 私たちはこの質問に新しい洞察を与えます。 RNCが捉えた正の言語は、正の繰り返し重みを持つ符号と接尾辞の活性化によって得られる正の言語は、星のない正の正規言語であることを示す。 そこで我々は,1つのニューロンがどのセミグループやグループを実装できるかを分析することによって,RCCの能力にアクセス可能な新しいフレームワークを開発した。 我々のフレームワークの顕著な意味は、RCCがグループを実装可能なニューロンを導入することで、すべての正規言語の表現性を達成できるということである。

関連論文リスト

• On the Expressivity of Recurrent Neural Cascades with Identity [48.87943990557107]
  RNC+とセミオートマタカスケードの密接な構造対応を確立する。 この結果の顕著な結果は、RCC+が三状態半オートマタのカスケードほど簡潔ではないことである。
  論文  参考訳（メタデータ） (2024-05-19T20:06:38Z)
• De-novo Chemical Reaction Generation by Means of Temporal Convolutional Neural Networks [3.357271554042638]
  本稿では、リカレントニューラルネットワーク(RNN)と一時畳み込みニューラルネットワーク(TCN)の2つの組み合わせを示す。 リカレントニューラルネットワークは自己回帰特性で知られており、SMILES生成への直接適用を伴う言語モデリングで頻繁に使用される。 比較的新しいTCNは、自然言語処理(NLP)に必要な因果性に従いながら、広い受容野を持つ類似特性を有する 異なる微調整プロトコルは、転送学習による関心のデータセットに適用した場合、モデルの生成範囲に大きな影響を与えることが示されている。
  論文  参考訳（メタデータ） (2023-10-26T12:15:56Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
  MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。 提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
  論文  参考訳（メタデータ） (2021-06-16T15:56:34Z)
• Can RNNs learn Recursive Nested Subject-Verb Agreements? [4.094098809740732]
  言語処理にはネストした木構造を抽出する機能が必要である。 リカレントニューラルネットワーク(RNN)の最近の進歩は、いくつかの言語タスクでほぼ人間に近いパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-01-06T20:47:02Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Separation of Memory and Processing in Dual Recurrent Neural Networks [0.0]
  入力に接続する繰り返し層とフィードフォワード層を積み重ねるニューラルネットワークアーキテクチャを探索する。 繰り返し単位の活性化関数にノイズが導入されたとき、これらのニューロンは二項活性化状態に強制され、ネットワークは有限オートマトンのように振る舞う。
  論文  参考訳（メタデータ） (2020-05-17T11:38:42Z)
• How much complexity does an RNN architecture need to learn syntax-sensitive dependencies? [9.248882589228089]
  長期記憶(LSTM)ネットワークは、長距離依存をカプセル化することができる。 単純なリカレントネットワーク(SRN)は一般的に、長距離依存関係の取得にはあまり成功していない。 本稿では,ニューロン活性化の減衰特性を取り入れた新しいアーキテクチャであるDecay RNNを提案する。
  論文  参考訳（メタデータ） (2020-05-17T09:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。