論文の概要: Advancing Regular Language Reasoning in Linear Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2309.07412v2
• Date: Tue, 9 Apr 2024 05:12:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 20:26:21.664354
• Title: Advancing Regular Language Reasoning in Linear Recurrent Neural Networks
• Title（参考訳）: リニアリカレントニューラルネットワークにおける正規言語推論の改善
• Authors: Ting-Han Fan, Ta-Chung Chi, Alexander I. Rudnicky,
• Abstract要約: 本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。 ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。 実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
• 参考スコア（独自算出の注目度）: 56.11830645258106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent studies, linear recurrent neural networks (LRNNs) have achieved Transformer-level performance in natural language and long-range modeling, while offering rapid parallel training and constant inference cost. With the resurgence of interest in LRNNs, we study whether they can learn the hidden rules in training sequences, such as the grammatical structures of regular language. We theoretically analyze some existing LRNNs and discover their limitations in modeling regular language. Motivated by this analysis, we propose a new LRNN equipped with a block-diagonal and input-dependent transition matrix. Experiments suggest that the proposed model is the only LRNN capable of performing length extrapolation on regular language tasks such as Sum, Even Pair, and Modular Arithmetic. The code is released at \url{https://github.com/tinghanf/RegluarLRNN}.
• Abstract（参考訳）: 近年、リニアリカレントニューラルネットワーク(LRNN)は、高速並列トレーニングと一定の推論コストを提供しながら、自然言語と長距離モデリングにおいてトランスフォーマーレベルの性能を実現している。 LRNNに対する関心の復活に伴い,正規言語の文法構造など,トレーニングシーケンスに隠された規則を学習できるかどうかを検討する。 理論的には既存のLRNNを解析し、正規言語をモデル化する際の限界を発見する。 そこで本研究では,ブロック対角行列と入力依存遷移行列を備えた新しいLRNNを提案する。 実験により,提案モデルがSum, Even Pair, Modular Arithmetic などの正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。 コードは \url{https://github.com/tinghanf/RegluarLRNN} で公開されている。

関連論文リスト

• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Lower Bounds on the Expressivity of Recurrent Neural Language Models [47.537525313391164]
  ニューラルLMの表現能力の研究は、形式言語を認識できる能力に主に焦点を絞っている。 本稿では, RNN LM の表現能力について, 線形有界精度を持つ RNN LM が任意の正則な LM を表現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-29T16:02:09Z)
• Language Modeling Using Tensor Trains [11.19279979601076]
  テンソルトレイン言語モデル(TTLM)と呼ばれる,最も単純なテンソルネットワーク(テンソルトレイン)に基づく新しいテンソルネットワーク言語モデルを提案する。 TTLMは、単語のテンソル積によって構築された指数空間内の文を表すが、低次元の方法で文の確率を計算する。
  論文  参考訳（メタデータ） (2024-05-07T18:09:47Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
  RNN LMが表現できる確率分布のクラスについて検討する。 単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。 これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
  論文  参考訳（メタデータ） (2023-10-08T13:36:05Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)
• Synthesizing Context-free Grammars from Recurrent Neural Networks (Extended Version) [6.3455238301221675]
  訓練されたリカレントニューラルネットワーク(RNN)から文脈自由文法(CFG)を抽出するアルゴリズムを提案する。 非正規言語を近似した決定論的有限オートマトン(DFAs)のシーケンスを記述する新しいフレームワークであるパターンルールセット(PRS)を開発した。 PRSがCFGにどのように変換されるかを示し、学習言語に親しみやすく有用なプレゼンテーションを可能にする。
  論文  参考訳（メタデータ） (2021-01-20T16:22:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。