論文の概要: On Efficiently Representing Regular Languages as RNNs

• arxiv url: http://arxiv.org/abs/2402.15814v2
• Date: Tue, 18 Jun 2024 15:14:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 04:05:40.170745
• Title: On Efficiently Representing Regular Languages as RNNs
• Title（参考訳）: 正規言語をRNNとして効率的に表現するについて
• Authors: Anej Svete, Robin Shing Moon Chan, Ryan Cotterell,
• Abstract要約: RNNは、人間の言語で広く使われている有界階層構造を効率的に表現できることを示す。 これは、RNNの成功が階層をモデル化する能力と結びついていることを示唆している。 我々は,RNNが従来主張していたより大規模なLMを効率的に表現できることを示す。
• 参考スコア（独自算出の注目度）: 49.88310438099143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work by Hewitt et al. (2020) provides an interpretation of the empirical success of recurrent neural networks (RNNs) as language models (LMs). It shows that RNNs can efficiently represent bounded hierarchical structures that are prevalent in human language. This suggests that RNNs' success might be linked to their ability to model hierarchy. However, a closer inspection of Hewitt et al.'s (2020) construction shows that it is not inherently limited to hierarchical structures. This poses a natural question: What other classes of LMs can RNNs efficiently represent? To this end, we generalize Hewitt et al.'s (2020) construction and show that RNNs can efficiently represent a larger class of LMs than previously claimed -- specifically, those that can be represented by a pushdown automaton with a bounded stack and a specific stack update function. Altogether, the efficiency of representing this diverse class of LMs with RNN LMs suggests novel interpretations of their inductive bias.
• Abstract（参考訳）: Hewitt et al (2020) による最近の研究は、言語モデル(LM)としてのリカレントニューラルネットワーク(RNN)の実証的な成功の解釈を提供する。 このことは、RNNが人間の言語で広く使われている有界階層構造を効率的に表現できることを示している。 これは、RNNの成功が階層をモデル化する能力と結びついていることを示唆している。 しかし、Hewitt et al's (2020) の構成を詳しく調べると、本質的に階層構造に限定されていないことが分かる。これは自然の疑問である: LM の他のクラス RNN が効率的に表現できるのか? この目的のために、我々は Hewitt et al's (2020) の構成を一般化し、RNN が以前主張されていたよりも大きな LM のクラスを効率的に表現できることを示し、具体的には、境界スタックと特定のスタック更新関数を持つプッシュダウンオートマトンで表現できるものである。 さらに、RNN LMによるこの多様なLMのクラスを表現する効率は、誘導バイアスの新たな解釈を示唆している。

関連論文リスト

• Learning Useful Representations of Recurrent Neural Network Weight Matrices [30.583752432727326]
  リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。 下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか? 我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。 我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
  論文  参考訳（メタデータ） (2024-03-18T17:32:23Z)
• Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
  RNN LMが表現できる確率分布のクラスについて検討する。 単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。 これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
  論文  参考訳（メタデータ） (2023-10-08T13:36:05Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
  本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。 ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。 実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
  論文  参考訳（メタデータ） (2023-09-14T03:36:01Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)
• A Formal Hierarchy of RNN Architectures [88.38859874233944]
  階層構造は、RNNのメモリを測定する空間と、リカレント更新が重み付けされた有限状態マシンで記述できるかどうかという有理再帰という2つの形式的特性に基づいている。 これらのモデルの表現能力は、複数の層を積み重ねたり、異なるプール機能で構成することでどのように拡張されるかを示す。 我々は、不飽和RNNの実用的な学習能力は、同様の階層に従うと仮定する。
  論文  参考訳（メタデータ） (2020-04-18T00:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。