論文の概要: A Theoretical Result on the Inductive Bias of RNN Language Models

• arxiv url: http://arxiv.org/abs/2402.15814v1
• Date: Sat, 24 Feb 2024 13:42:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 16:53:36.084439
• Title: A Theoretical Result on the Inductive Bias of RNN Language Models
• Title（参考訳）: RNN言語モデルの帰納的バイアスに関する理論的結果
• Authors: Anej Svete, Robin Shing Moon Chan, Ryan Cotterell
• Abstract要約: Hewittらによる最近の研究(2020年)は、リカレントニューラルネットワーク(RNN)の言語モデル(LM)としての実証的成功の解釈を提供する。 それらの構成を一般化し、RNNがより大規模なLMを効率的に表現できることを示す。
• 参考スコア（独自算出の注目度）: 56.06361029539347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work by Hewitt et al. (2020) provides a possible interpretation of the empirical success of recurrent neural networks (RNNs) as language models (LMs). It shows that RNNs can efficiently represent bounded hierarchical structures that are prevalent in human language. This suggests that RNNs' success might be linked to their ability to model hierarchy. However, a closer inspection of Hewitt et al.'s (2020) construction shows that it is not limited to hierarchical LMs, posing the question of what \emph{other classes} of LMs can be efficiently represented by RNNs. To this end, we generalize their construction to show that RNNs can efficiently represent a larger class of LMs: Those that can be represented by a pushdown automaton with a bounded stack and a generalized stack update function. This is analogous to an automaton that keeps a memory of a fixed number of symbols and updates the memory with a simple update mechanism. Altogether, the efficiency in representing a diverse class of non-hierarchical LMs posits a lack of concrete cognitive and human-language-centered inductive biases in RNNs.
• Abstract（参考訳）: Hewitt et al. (2020) による最近の研究は、リカレントニューラルネットワーク(RNN)の言語モデル(LM)としての実証的な成功の解釈を提供する。 RNNは、人間の言語で広く使われている境界階層構造を効率的に表現できることを示している。 これは、RNNの成功が階層をモデル化する能力と結びついていることを示している。 しかし、Hewitt et al. (2020) の構成を詳しく調べると、それは階層的 LM に限らず、どの LM の 'emph{other class} が RNN によって効率的に表現できるのかという疑問が浮き彫りになっている。 この目的のために、RNNがより大規模なLMを効率的に表現できることを示すために、それらの構成を一般化する: 境界スタックと一般化スタック更新関数を備えたプッシュダウンオートマトンで表現できるもの。 これは、固定数のシンボルのメモリを保持し、単純な更新メカニズムでメモリを更新するオートマトンに似ている。 さらに、多種多様な非階層的LMの表現効率は、RNNにおける具体的な認知と人間言語中心の帰納バイアスの欠如を示唆している。

関連論文リスト

• Learning Useful Representations of Recurrent Neural Network Weight Matrices [30.583752432727326]
  リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。 下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか? 我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。 我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
  論文  参考訳（メタデータ） (2024-03-18T17:32:23Z)
• Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
  RNN LMが表現できる確率分布のクラスについて検討する。 単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。 これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
  論文  参考訳（メタデータ） (2023-10-08T13:36:05Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
  本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。 ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。 実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
  論文  参考訳（メタデータ） (2023-09-14T03:36:01Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)
• A Formal Hierarchy of RNN Architectures [88.38859874233944]
  階層構造は、RNNのメモリを測定する空間と、リカレント更新が重み付けされた有限状態マシンで記述できるかどうかという有理再帰という2つの形式的特性に基づいている。 これらのモデルの表現能力は、複数の層を積み重ねたり、異なるプール機能で構成することでどのように拡張されるかを示す。 我々は、不飽和RNNの実用的な学習能力は、同様の階層に従うと仮定する。
  論文  参考訳（メタデータ） (2020-04-18T00:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。