論文の概要: Recurrent Neural Language Models as Probabilistic Finite-state Automata

• arxiv url: http://arxiv.org/abs/2310.05161v1
• Date: Sun, 8 Oct 2023 13:36:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 12:06:55.532129
• Title: Recurrent Neural Language Models as Probabilistic Finite-state Automata
• Title（参考訳）: 確率的有限状態オートマトンとしてのリカレントニューラルネットワークモデル
• Authors: Anej Svete, Ryan Cotterell
• Abstract要約: 単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。 我々は、任意の決定論的有限状態LMをアルファベット$Sigma$上の$N$状態で表現するために、RNNは$Omegaleft(N |Sigma|right)$ニューロンを必要とすることを示す。
• 参考スコア（独自算出の注目度）: 66.23172872811594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studying language models (LMs) in terms of well-understood formalisms allows us to precisely characterize their abilities and limitations. Previous work has investigated the representational capacity of recurrent neural network (RNN) LMs in terms of their capacity to recognize unweighted formal languages. However, LMs do not describe unweighted formal languages -- rather, they define probability distributions over strings. In this work, we study what classes of such probability distributions RNN LMs can represent, which allows us to make more direct statements about their capabilities. We show that simple RNNs are equivalent to a subclass of probabilistic finite-state automata, and can thus model a strict subset of probability distributions expressible by finite-state models. Furthermore, we study the space complexity of representing finite-state LMs with RNNs. We show that, to represent an arbitrary deterministic finite-state LM with $N$ states over an alphabet $\Sigma$, an RNN requires $\Omega\left(N |\Sigma|\right)$ neurons. These results present a first step towards characterizing the classes of distributions RNN LMs can represent and thus help us understand their capabilities and limitations.
• Abstract（参考訳）: 言語モデル(lms)を十分に理解された形式主義の観点から研究することで、その能力と限界を正確に特徴づけることができる。 前回の研究では、非重み付き形式言語を認識する能力の観点から、recurrent neural network (rnn) lmsの表現能力を調査した。 しかし、LMは非重みのない形式言語を記述せず、むしろ文字列上の確率分布を定義する。 本研究では,RNN LMが表現できる確率分布のクラスについて検討する。 単純RNNは確率的有限状態オートマトンの部分クラスと等価であり、したがって有限状態モデルで表現可能な確率分布の厳密な部分集合をモデル化できることを示す。 さらに, 有限状態LMをRNNで表現する空間複雑性について検討した。 任意の決定論的有限状態LMをアルファベット$\Sigma$上の$N$状態で表現するために、RNNは$\Omega\left(N |\Sigma|\right)$ニューロンを必要とする。 これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示し、その能力と限界を理解するのに役立ちます。

関連論文リスト

• On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning [87.73401758641089]
  CoT推論による現代言語モデル(LM)の性能向上 LMは弦上の分布の族を確率的チューリングマシンと同一に表現できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T10:59:02Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Lower Bounds on the Expressivity of Recurrent Neural Language Models [47.537525313391164]
  ニューラルLMの表現能力の研究は、形式言語を認識できる能力に主に焦点を絞っている。 本稿では, RNN LM の表現能力について, 線形有界精度を持つ RNN LM が任意の正則な LM を表現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-29T16:02:09Z)
• On Efficiently Representing Regular Languages as RNNs [49.88310438099143]
  RNNは、人間の言語で広く使われている有界階層構造を効率的に表現できることを示す。 これは、RNNの成功が階層をモデル化する能力と結びついていることを示唆している。 我々は,RNNが従来主張していたより大規模なLMを効率的に表現できることを示す。
  論文  参考訳（メタデータ） (2024-02-24T13:42:06Z)
• On the Representational Capacity of Recurrent Neural Language Models [56.19166912044362]
  計算時間を持つ有理重み付きRLMは、有理重み付き遷移を持つ決定論的確率的チューリングマシン(PTM)をシミュレートできることを示す。 また, 実時間計算の制約下では, 決定論的実時間有理PTMをシミュレートできることを示した。
  論文  参考訳（メタデータ） (2023-10-19T17:39:47Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)
• Distance and Equivalence between Finite State Machines and Recurrent Neural Networks: Computational results [0.348097307252416]
  訓練されたRNN言語モデルから有限状態マシンベースモデルを抽出する問題に関するいくつかの結果を示す。 我々の3-SATによる削減技術は、後者の事実を他のRNNアーキテクチャに容易に一般化できるようにする。
  論文  参考訳（メタデータ） (2020-04-01T14:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。