論文の概要: A Theoretical Result on the Inductive Bias of RNN Language Models
- arxiv url: http://arxiv.org/abs/2402.15814v1
- Date: Sat, 24 Feb 2024 13:42:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 16:53:36.084439
- Title: A Theoretical Result on the Inductive Bias of RNN Language Models
- Title(参考訳): RNN言語モデルの帰納的バイアスに関する理論的結果
- Authors: Anej Svete, Robin Shing Moon Chan, Ryan Cotterell
- Abstract要約: Hewittらによる最近の研究(2020年)は、リカレントニューラルネットワーク(RNN)の言語モデル(LM)としての実証的成功の解釈を提供する。
それらの構成を一般化し、RNNがより大規模なLMを効率的に表現できることを示す。
- 参考スコア(独自算出の注目度): 56.06361029539347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work by Hewitt et al. (2020) provides a possible interpretation of the
empirical success of recurrent neural networks (RNNs) as language models (LMs).
It shows that RNNs can efficiently represent bounded hierarchical structures
that are prevalent in human language.
This suggests that RNNs' success might be linked to their ability to model
hierarchy.
However, a closer inspection of Hewitt et al.'s (2020) construction shows
that it is not limited to hierarchical LMs, posing the question of what
\emph{other classes} of LMs can be efficiently represented by RNNs.
To this end, we generalize their construction to show that RNNs can
efficiently represent a larger class of LMs: Those that can be represented by a
pushdown automaton with a bounded stack and a generalized stack update
function.
This is analogous to an automaton that keeps a memory of a fixed number of
symbols and updates the memory with a simple update mechanism.
Altogether, the efficiency in representing a diverse class of
non-hierarchical LMs posits a lack of concrete cognitive and
human-language-centered inductive biases in RNNs.
- Abstract(参考訳): Hewitt et al. (2020) による最近の研究は、リカレントニューラルネットワーク(RNN)の言語モデル(LM)としての実証的な成功の解釈を提供する。
RNNは、人間の言語で広く使われている境界階層構造を効率的に表現できることを示している。
これは、RNNの成功が階層をモデル化する能力と結びついていることを示している。
しかし、Hewitt et al. (2020) の構成を詳しく調べると、それは階層的 LM に限らず、どの LM の 'emph{other class} が RNN によって効率的に表現できるのかという疑問が浮き彫りになっている。
この目的のために、RNNがより大規模なLMを効率的に表現できることを示すために、それらの構成を一般化する: 境界スタックと一般化スタック更新関数を備えたプッシュダウンオートマトンで表現できるもの。
これは、固定数のシンボルのメモリを保持し、単純な更新メカニズムでメモリを更新するオートマトンに似ている。
さらに、多種多様な非階層的LMの表現効率は、RNNにおける具体的な認知と人間言語中心の帰納バイアスの欠如を示唆している。
関連論文リスト
- Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
RNN LMが表現できる確率分布のクラスについて検討する。
単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。
これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
論文 参考訳(メタデータ) (2023-10-08T13:36:05Z) - On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳(メタデータ) (2023-09-26T06:06:47Z) - Implicit N-grams Induced by Recurrence [10.053475465955794]
本稿では,隠された状態内に存在する説明可能な構成要素が実際に存在することを示す。
下流感情分析課題において, 訓練されたRNNから抽出した特徴を抽出し, 興味深い言語現象のモデル化に有効であることを確認した。
論文 参考訳(メタデータ) (2022-05-05T15:53:46Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳(メタデータ) (2022-04-15T10:45:26Z) - Learning Hierarchical Structures with Differentiable Nondeterministic
Stacks [25.064819128982556]
最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。
NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。
また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
論文 参考訳(メタデータ) (2021-09-05T03:25:23Z) - A Formal Hierarchy of RNN Architectures [88.38859874233944]
階層構造は、RNNのメモリを測定する空間と、リカレント更新が重み付けされた有限状態マシンで記述できるかどうかという有理再帰という2つの形式的特性に基づいている。
これらのモデルの表現能力は、複数の層を積み重ねたり、異なるプール機能で構成することでどのように拡張されるかを示す。
我々は、不飽和RNNの実用的な学習能力は、同様の階層に従うと仮定する。
論文 参考訳(メタデータ) (2020-04-18T00:57:54Z) - Recognizing Long Grammatical Sequences Using Recurrent Networks
Augmented With An External Differentiable Stack [73.48927855855219]
リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。
RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。
これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。
本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
論文 参考訳(メタデータ) (2020-04-04T14:19:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。