論文の概要: On the Expressivity of Recurrent Neural Cascades with Identity

• arxiv url: http://arxiv.org/abs/2405.11657v1
• Date: Sun, 19 May 2024 20:06:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 14:53:04.985254
• Title: On the Expressivity of Recurrent Neural Cascades with Identity
• Title（参考訳）: 同一性を有する繰り返しニューラルカスケードの表現性について
• Authors: Nadezda A. Knorozova, Alessandro Ronca,
• Abstract要約: RNC+とセミオートマタカスケードの密接な構造対応を確立する。 この結果の顕著な結果は、RCC+が三状態半オートマタのカスケードほど簡潔ではないことである。
• 参考スコア（独自算出の注目度）: 51.92255321684027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent Neural Cascades (RNC) are the class of recurrent neural networks with no cyclic dependencies among recurrent neurons. Their subclass RNC+ with positive recurrent weights has been shown to be closely connected to the star-free regular languages, which are the expressivity of many well-established temporal logics. The existing expressivity results show that the regular languages captured by RNC+ are the star-free ones, and they leave open the possibility that RNC+ may capture languages beyond regular. We exclude this possibility for languages that include an identity element, i.e., an input that can occur an arbitrary number of times without affecting the output. Namely, in the presence of an identity element, we show that the languages captured by RNC+ are exactly the star-free regular languages. Identity elements are ubiquitous in temporal patterns, and hence our results apply to a large number of applications. The implications of our results go beyond expressivity. At their core, we establish a close structural correspondence between RNC+ and semiautomata cascades, showing that every neuron can be equivalently captured by a three-state semiautomaton. A notable consequence of this result is that RNC+ are no more succinct than cascades of three-state semiautomata.
• Abstract（参考訳）: リカレントニューラルカスケード(Recurrent Neural Cascades、RNC)は、リカレントニューラル・ネットワークの一種で、リカレント・ニューラル・ネットワーク間の循環的依存を持たない。 正の繰り返し重みを持つそれらのサブクラス RNC+ は、多くの確立された時間論理の表現性である星のない正規言語と密接に関連していることが示されている。 既存の表現性の結果は、RCC+が取得した正規言語が星のない言語であることを示し、RCC+が正規言語以外の言語を捕捉する可能性を明らかにしている。 我々は、単位元を含む言語、すなわち、出力に影響を与えることなく任意の回数を発生させることができる入力について、この可能性を排除する。 すなわち、アイデンティティー要素の存在下では、RCC+によって取得された言語は、まさにスターフリーな正規言語であることを示す。 アイデンティティ要素は時間的パターンにおいてユビキタスであり、その結果は多数のアプリケーションに適用できる。 私たちの結果の意味は、表現力を超えます。 RNC+とセミオートマタのカスケード間の密接な構造対応を確立し、全てのニューロンが3状態のセミオートマトンで等価に捕捉可能であることを示した。 この結果の顕著な結果は、RCC+が三状態半オートマタのカスケードほど簡潔ではないことである。

関連論文リスト

• Lower Bounds on the Expressivity of Recurrent Neural Language Models [47.537525313391164]
  ニューラルLMの表現能力の研究は、形式言語を認識できる能力に主に焦点を絞っている。 本稿では, RNN LM の表現能力について, 線形有界精度を持つ RNN LM が任意の正則な LM を表現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-29T16:02:09Z)
• On The Expressivity of Recurrent Neural Cascades [48.87943990557107]
  リカレントニューラルカスケード(Recurrent Neural Cascades、RNC)は、リカレントニューラルネットワークであり、リカレントニューロン間で循環的依存を持たない。 RNCは、グループを実装可能なニューロンを導入することで、すべての正規言語を表現できることを示す。
  論文  参考訳（メタデータ） (2023-12-14T15:47:26Z)
• Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
  RNN LMが表現できる確率分布のクラスについて検討する。 単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。 これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
  論文  参考訳（メタデータ） (2023-10-08T13:36:05Z)
• The Surprising Computational Power of Nondeterministic Stack RNNs [20.996069249108224]
  従来のリカレントニューラルネットワーク(RNN)は、固定された有限個のメモリセルを持つ。 本稿では,非決定論とニューラルコントローラが相互作用して,より予期せぬ2つの能力を生み出すことを示す。 まず、非決定論的スタック RNN は CFL だけでなく、多くの非文脈自由言語を認識できる。 第二に、スタックアルファベットのサイズを考えると、予想されるよりもはるかに大きなアルファベットサイズを持つ言語を認識できる。
  論文  参考訳（メタデータ） (2022-10-04T03:18:19Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)
• Can RNNs learn Recursive Nested Subject-Verb Agreements? [4.094098809740732]
  言語処理にはネストした木構造を抽出する機能が必要である。 リカレントニューラルネットワーク(RNN)の最近の進歩は、いくつかの言語タスクでほぼ人間に近いパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-01-06T20:47:02Z)
• RNNs can generate bounded hierarchical languages with optimal memory [113.73133308478612]
  RNNは、自然言語構文の足場を反映した境界階層言語を効率的に生成できることを示す。 Dyck-($k$,$m$)は、よくネストされた括弧($k$型)と$m$バウンドされたネスト深さの言語である。 明示的な構成により,$O(m log k)$ hidden units の RNN がメモリの指数的削減に十分であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T04:42:29Z)
• On the Linguistic Capacity of Real-Time Counter Automata [1.8072051868187933]
  リアルタイムカウンターマシンの能力を形式文法として研究する。 対向言語は補数、和、交叉、その他多くの共通集合演算の下で閉じていることを示す。 この研究は、リカレントニューラルネットワークを理解することに興味のある形式言語理論に一般的な貢献をする。
  論文  参考訳（メタデータ） (2020-04-15T03:37:47Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。