論文の概要: Bearing Syntactic Fruit with Stack-Augmented Neural Networks

• arxiv url: http://arxiv.org/abs/2511.03547v1
• Date: Wed, 05 Nov 2025 15:30:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.461715
• Title: Bearing Syntactic Fruit with Stack-Augmented Neural Networks
• Title（参考訳）: スタック強化ニューラルネットワークを用いた軸受合成果実
• Authors: Brian DuSell, Ryan Cotterell,
• Abstract要約: スタック拡張ニューラルネットワークは、標準的なアーキテクチャよりも、人間の言語習得の正確なモデルであることを示す。 また、階層的一般化を改善するスタックRNNアーキテクチャの修正も提案する。
• 参考スコア（独自算出の注目度）: 59.49467149799849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Any finite set of training data is consistent with an infinite number of hypothetical algorithms that could have generated it. Studies have shown that when human children learn language, they consistently favor hypotheses based on hierarchical syntactic rules without ever encountering disambiguating examples. A recent line of work has inquired as to whether common neural network architectures share this bias, finding that they do so only under special conditions: when syntactically supervised, when pre-trained on massive corpora, or when trained long past convergence. In this paper, we demonstrate, for the first time, neural network architectures that are able to generalize in human-like fashion without any of the aforementioned requirements: stack-augmented neural networks. We test three base architectures (transformer, simple RNN, LSTM) augmented with two styles of stack: the superposition stack of Joulin & Mikolov (2015) and a nondeterministic generalization of it proposed by DuSell & Chiang (2023). We find that transformers with nondeterministic stacks generalize best out of these architectures on a classical question formation task. We also propose a modification to the stack RNN architecture that improves hierarchical generalization. These results suggest that stack-augmented neural networks may be more accurate models of human language acquisition than standard architectures, serving as useful objects of psycholinguistic study. Our code is publicly available.
• Abstract（参考訳）: 訓練データの有限集合は、それを生成できる無限個の仮説的アルゴリズムと一致している。 研究では、人間の子供が言語を学ぶとき、不明瞭な例に遭遇することなく、階層的な統語規則に基づく仮説を一貫して好んでいることが示されている。 最近の一連の研究は、一般的なニューラルネットワークアーキテクチャがこのバイアスを共有しているかどうかを問うもので、それが特別な条件下でのみ行われていることを発見した。 本稿では、上記の要件を満たさずに人間のような方法で一般化できるニューラルネットワークアーキテクチャを初めて実証する。 We test three base architectures (transformer, simple RNN, LSTM) augmented with two style of stack: superposition stack of Joulin & Mikolov (2015) and a nonterministic generalization of it proposed by DuSell & Chiang (2023)。 非決定論的スタックを持つ変換器は、古典的な疑問形成タスクにおいて、これらのアーキテクチャのベストを一般化する。 また、階層的一般化を改善するスタックRNNアーキテクチャの修正も提案する。 これらの結果は、スタック拡張ニューラルネットワークは、標準的なアーキテクチャよりも人間の言語習得の正確なモデルであり、精神言語学研究の有用な対象である可能性を示唆している。 私たちのコードは公開されています。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。 3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。 我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• On The Expressivity of Recurrent Neural Cascades [48.87943990557107]
  リカレントニューラルカスケード(Recurrent Neural Cascades、RNC)は、リカレントニューラルネットワークであり、リカレントニューロン間で循環的依存を持たない。 RNCは、グループを実装可能なニューロンを導入することで、すべての正規言語を表現できることを示す。
  論文  参考訳（メタデータ） (2023-12-14T15:47:26Z)
• Nondeterministic Stacks in Neural Networks [0.456877715768796]
  我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。 これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。 また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-25T16:00:40Z)
• GENNAPE: Towards Generalized Neural Architecture Performance Estimators [25.877126553261434]
  GENNAPEは、与えられたニューラルネットワークを、原子操作の計算グラフ(CG)として表現する。 最初に、トポロジ的特徴によるネットワーク分離を促進するために、Contrastive Learningを介してグラフエンコーダを学習する。 実験により、NAS-Bench-101で事前訓練されたGENNAPEは、5つの異なる公開ニューラルネットワークベンチマークに優れた転送性が得られることが示された。
  論文  参考訳（メタデータ） (2022-11-30T18:27:41Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。