論文の概要: Learning Hierarchical Structures with Differentiable Nondeterministic Stacks

• arxiv url: http://arxiv.org/abs/2109.01982v1
• Date: Sun, 5 Sep 2021 03:25:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 16:44:54.768138
• Title: Learning Hierarchical Structures with Differentiable Nondeterministic Stacks
• Title（参考訳）: 微分非決定論的スタックを用いた階層構造学習
• Authors: Brian DuSell and David Chiang
• Abstract要約: 最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
• 参考スコア（独自算出の注目度）: 25.064819128982556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning hierarchical structures in sequential data -- from simple algorithmic patterns to natural language -- in a reliable, generalizable way remains a challenging problem for neural language models. Past work has shown that recurrent neural networks (RNNs) struggle to generalize on held-out algorithmic or syntactic patterns without supervision or some inductive bias. To remedy this, many papers have explored augmenting RNNs with various differentiable stacks, by analogy with finite automata and pushdown automata. In this paper, we present a stack RNN model based on the recently proposed Nondeterministic Stack RNN (NS-RNN) that achieves lower cross-entropy than all previous stack RNNs on five context-free language modeling tasks (within 0.05 nats of the information-theoretic lower bound), including a task in which the NS-RNN previously failed to outperform a deterministic stack RNN baseline. Our model assigns arbitrary positive weights instead of probabilities to stack actions, and we provide an analysis of why this improves training. We also propose a restricted version of the NS-RNN that makes it practical to use for language modeling on natural language and present results on the Penn Treebank corpus.
• Abstract（参考訳）: 単純なアルゴリズムパターンから自然言語まで、シーケンシャルなデータの階層構造を信頼性が高く一般化可能な方法で学習することは、ニューラルネットワークモデルにとって難しい問題です。 過去の研究によると、リカレントニューラルネットワーク(recurrent neural networks、rnn)は、監視や帰納的バイアスなしに、保持されたアルゴリズムや構文パターンの一般化に苦労している。 これを改善するために、多くの論文が有限オートマトンとプッシュダウンオートマトンを例に、様々な異なるスタックでRNNを増強することを検討した。 本稿では,最近提案されている非決定性スタックrnn(ns-rnn)に基づくスタックrnnモデルを提案する。これは5つのコンテキストフリー言語モデリングタスク(情報理論上の下界の0.05natsを含む)において,従来のスタックrnnベースラインよりも低いクロスエントロピーを実現する。 本モデルでは,確率ではなく任意の正の重み付けを重み付けし,これがトレーニングを改善する理由を解析する。 また,自然言語を用いた言語モデリングやPenn Treebank corpus での成果の提示に活用できるようにする NS-RNN の限定バージョンを提案する。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• On Efficiently Representing Regular Languages as RNNs [49.88310438099143]
  RNNは、人間の言語で広く使われている有界階層構造を効率的に表現できることを示す。 これは、RNNの成功が階層をモデル化する能力と結びついていることを示唆している。 我々は,RNNが従来主張していたより大規模なLMを効率的に表現できることを示す。
  論文  参考訳（メタデータ） (2024-02-24T13:42:06Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
  本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。 ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。 実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
  論文  参考訳（メタデータ） (2023-09-14T03:36:01Z)
• Nondeterministic Stacks in Neural Networks [0.456877715768796]
  我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。 これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。 また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-25T16:00:40Z)
• Decomposing a Recurrent Neural Network into Modules for Enabling Reusability and Replacement [11.591247347259317]
  RNNをモジュールに分解する最初の手法を提案する。 我々は,Vanilla,LSTM,GRUなど,さまざまな種類のRNNを研究している。 本稿では,RNNモジュールを再利用し,様々なシナリオで置き換える方法について述べる。
  論文  参考訳（メタデータ） (2022-12-09T03:29:38Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Can RNNs learn Recursive Nested Subject-Verb Agreements? [4.094098809740732]
  言語処理にはネストした木構造を抽出する機能が必要である。 リカレントニューラルネットワーク(RNN)の最近の進歩は、いくつかの言語タスクでほぼ人間に近いパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-01-06T20:47:02Z)
• Learning Context-Free Languages with Nondeterministic Stack RNNs [20.996069249108224]
  本稿では,指数的なスタック構成を同時にかつトラクタブルに符号化する,微分可能なスタックデータ構造を提案する。 我々は、このデータ構造とリカレントニューラルネットワーク(RNN)コントローラの組み合わせを非決定論的スタックRNNと呼んでいる。
  論文  参考訳（メタデータ） (2020-10-09T16:48:41Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。