論文の概要: Advancing Regular Language Reasoning in Linear Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2309.07412v1
- Date: Thu, 14 Sep 2023 03:36:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 16:19:05.448439
- Title: Advancing Regular Language Reasoning in Linear Recurrent Neural Networks
- Title(参考訳): リニアリカレントニューラルネットワークにおける正規言語推論の改善
- Authors: Ting-Han Fan, Ta-Chung Chi, Alexander I. Rudnicky
- Abstract要約: 線形リカレントニューラルネットワークがトレーニングシーケンスに隠された規則を学習できるかを検討する。
ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。
実験結果から,提案モデルが正規言語タスクで長さ外挿を行うことができる唯一のLRNNであることが示唆された。
- 参考スコア(独自算出の注目度): 61.305218287797025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent studies, linear recurrent neural networks (LRNNs) have achieved
Transformer-level performance in natural language modeling and long-range
modeling while offering rapid parallel training and constant inference costs.
With the resurged interest in LRNNs, we study whether they can learn the hidden
rules in training sequences, such as the grammatical structures of regular
language. We theoretically analyze some existing LRNNs and discover their
limitations on regular language. Motivated by the analysis, we propose a new
LRNN equipped with a block-diagonal and input-dependent transition matrix.
Experiments suggest that the proposed model is the only LRNN that can perform
length extrapolation on regular language tasks such as Sum, Even Pair, and
Modular Arithmetic.
- Abstract(参考訳): 近年、線形リカレントニューラルネットワーク(LRNN)は、高速並列トレーニングと一定の推論コストを提供しながら、自然言語モデリングと長距離モデリングにおいてトランスフォーマーレベルの性能を実現している。
LRNNに対する関心が高まり,正規言語の文法構造など,トレーニングシーケンスに隠された規則を学習できるかどうかを検討する。
理論的には既存のLRNNを解析し,その制限を正規言語で発見する。
そこで本研究では,ブロック対角行列と入力依存遷移行列を備えたLRNNを提案する。
実験により,提案モデルがSum, Even Pair, Modular Arithmetic などの正規言語タスクで長さ外挿を行うことができる唯一のLRNNであることが示唆された。
関連論文リスト
- In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳(メタデータ) (2024-01-23T18:59:21Z) - Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
RNN LMが表現できる確率分布のクラスについて検討する。
単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。
これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
論文 参考訳(メタデータ) (2023-10-08T13:36:05Z) - On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳(メタデータ) (2023-09-26T06:06:47Z) - Return of the RNN: Residual Recurrent Networks for Invertible Sentence
Embeddings [0.0]
本研究では、教師なし符号化タスクで訓練された残効再帰ネットワークを用いて、非可逆文埋め込みのための新しいモデルを提案する。
ニューラルネットワーク翻訳モデルに共通する確率的出力ではなく、回帰に基づく出力層を用いて入力シーケンスのワードベクトルを再構成する。
RNNはLSTMや2次最適化法などのメモリユニットを必要とすることを考えると、このモデルはADAMによる高精度かつ高速なトレーニングを実現している。
論文 参考訳(メタデータ) (2023-03-23T15:59:06Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Learning Hierarchical Structures with Differentiable Nondeterministic
Stacks [25.064819128982556]
最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。
NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。
また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
論文 参考訳(メタデータ) (2021-09-05T03:25:23Z) - Synthesizing Context-free Grammars from Recurrent Neural Networks
(Extended Version) [6.3455238301221675]
訓練されたリカレントニューラルネットワーク(RNN)から文脈自由文法(CFG)を抽出するアルゴリズムを提案する。
非正規言語を近似した決定論的有限オートマトン(DFAs)のシーケンスを記述する新しいフレームワークであるパターンルールセット(PRS)を開発した。
PRSがCFGにどのように変換されるかを示し、学習言語に親しみやすく有用なプレゼンテーションを可能にする。
論文 参考訳(メタデータ) (2021-01-20T16:22:25Z) - Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。
提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。
新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
論文 参考訳(メタデータ) (2020-04-22T06:03:10Z) - The Power of Linear Recurrent Neural Networks [1.124958340749622]
自己回帰線形,すなわち線形活性化リカレントニューラルネットワーク(LRNN)が,任意の時間依存関数f(t)を近似できることを示す。
LRNNは、最小限のユニット数でMSOタスクのこれまでの最先端を上回ります。
論文 参考訳(メタデータ) (2018-02-09T15:35:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。