論文の概要: Lower Bounds on the Expressivity of Recurrent Neural Language Models

• arxiv url: http://arxiv.org/abs/2405.19222v2
• Date: Tue, 18 Jun 2024 15:42:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 01:25:27.915521
• Title: Lower Bounds on the Expressivity of Recurrent Neural Language Models
• Title（参考訳）: リカレントニューラルネットワークモデルの表現性に関する下界
• Authors: Anej Svete, Franz Nowak, Anisha Mohamed Sahabdeen, Ryan Cotterell,
• Abstract要約: ニューラルLMの表現能力の研究は、形式言語を認識できる能力に主に焦点を絞っている。 本稿では, RNN LM の表現能力について, 線形有界精度を持つ RNN LM が任意の正則な LM を表現可能であることを示す。
• 参考スコア（独自算出の注目度）: 47.537525313391164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent successes and spread of large neural language models (LMs) call for a thorough understanding of their computational ability. Describing their computational abilities through LMs' \emph{representational capacity} is a lively area of research. However, investigation into the representational capacity of neural LMs has predominantly focused on their ability to \emph{recognize} formal languages. For example, recurrent neural networks (RNNs) with Heaviside activations are tightly linked to regular languages, i.e., languages defined by finite-state automata (FSAs). Such results, however, fall short of describing the capabilities of RNN \emph{language models} (LMs), which are definitionally \emph{distributions} over strings. We take a fresh look at the representational capacity of RNN LMs by connecting them to \emph{probabilistic} FSAs and demonstrate that RNN LMs with linearly bounded precision can express arbitrary regular LMs.
• Abstract（参考訳）: 近年の大規模ニューラルネットワークモデル(LM)の成功と普及は、その計算能力の徹底的な理解を促している。 LMの'emph{representational capacity'を通じて計算能力を記述することは、活発な研究分野である。 しかしながら、ニューラル LM の表現能力に関する調査は、主に形式言語である 'emph{recognize} の能力に焦点を当てている。 例えば、ヘビサイドアクティベーションを持つリカレントニューラルネットワーク(RNN)は、正規言語、すなわち有限状態オートマトン(FSAs)によって定義される言語と密接に関連している。 しかし、そのような結果は RNN \emph{言語モデル (LM) の機能を記述するには足りず、定義上は文字列上でのemph{distributions} である。 本稿では, RNN LM の表現能力について, それらを \emph{probabilistic} FSA に接続することにより再検討し, 線形有界精度を持つ RNN LM が任意の正則な LM を表現できることを実証する。

関連論文リスト

• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Language Modeling Using Tensor Trains [11.19279979601076]
  テンソルトレイン言語モデル(TTLM)と呼ばれる,最も単純なテンソルネットワーク(テンソルトレイン)に基づく新しいテンソルネットワーク言語モデルを提案する。 TTLMは、単語のテンソル積によって構築された指数空間内の文を表すが、低次元の方法で文の確率を計算する。
  論文  参考訳（メタデータ） (2024-05-07T18:09:47Z)
• On the Representational Capacity of Recurrent Neural Language Models [56.19166912044362]
  計算時間を持つ有理重み付きRLMは、有理重み付き遷移を持つ決定論的確率的チューリングマシン(PTM)をシミュレートできることを示す。 また, 実時間計算の制約下では, 決定論的実時間有理PTMをシミュレートできることを示した。
  論文  参考訳（メタデータ） (2023-10-19T17:39:47Z)
• Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
  RNN LMが表現できる確率分布のクラスについて検討する。 単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。 これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
  論文  参考訳（メタデータ） (2023-10-08T13:36:05Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
  本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。 ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。 実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
  論文  参考訳（メタデータ） (2023-09-14T03:36:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。