論文の概要: Synthesizing Context-free Grammars from Recurrent Neural Networks (Extended Version)

• arxiv url: http://arxiv.org/abs/2101.08200v2
• Date: Tue, 9 Feb 2021 21:28:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 01:17:12.227473
• Title: Synthesizing Context-free Grammars from Recurrent Neural Networks (Extended Version)
• Title（参考訳）: リカレントニューラルネットワークによる文脈自由文法の合成(拡張バージョン)
• Authors: Daniel M. Yellin, Gail Weiss
• Abstract要約: 訓練されたリカレントニューラルネットワーク(RNN)から文脈自由文法(CFG)を抽出するアルゴリズムを提案する。 非正規言語を近似した決定論的有限オートマトン(DFAs)のシーケンスを記述する新しいフレームワークであるパターンルールセット(PRS)を開発した。 PRSがCFGにどのように変換されるかを示し、学習言語に親しみやすく有用なプレゼンテーションを可能にする。
• 参考スコア（独自算出の注目度）: 6.3455238301221675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an algorithm for extracting a subclass of the context free grammars (CFGs) from a trained recurrent neural network (RNN). We develop a new framework, pattern rule sets (PRSs), which describe sequences of deterministic finite automata (DFAs) that approximate a non-regular language. We present an algorithm for recovering the PRS behind a sequence of such automata, and apply it to the sequences of automata extracted from trained RNNs using the L* algorithm. We then show how the PRS may converted into a CFG, enabling a familiar and useful presentation of the learned language. Extracting the learned language of an RNN is important to facilitate understanding of the RNN and to verify its correctness. Furthermore, the extracted CFG can augment the RNN in classifying correct sentences, as the RNN's predictive accuracy decreases when the recursion depth and distance between matching delimiters of its input sequences increases.
• Abstract（参考訳）: 本稿では、訓練されたリカレントニューラルネットワーク(RNN)から文脈自由文法(CFG)のサブクラスを抽出するアルゴリズムを提案する。 非正規言語を近似した決定論的有限オートマトン(DFAs)のシーケンスを記述する新しいフレームワークであるパターンルールセット(PRS)を開発した。 本稿では,そのようなオートマトン列の背後にあるprを復元するアルゴリズムを提案し,l*アルゴリズムを用いて訓練されたrnnから抽出したオートマトン列に適用する。 次にprがいかにcfgに変換されるかを示し、学習した言語の使い慣れた有用なプレゼンテーションを可能にする。 RNNの学習言語を抽出することは、RNNの理解を容易にし、その正確性を検証するために重要である。 さらに、抽出されたCFGは、その入力シーケンスの一致するディミッタ間の再帰深さと距離が増加すると、RNNの予測精度が低下するので、正しい文の分類においてRNNを増大させることができる。

関連論文リスト

• Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
  本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。 ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。 実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
  論文  参考訳（メタデータ） (2023-09-14T03:36:01Z)
• Graph Neural Networks for Contextual ASR with the Tree-Constrained Pointer Generator [9.053645441056256]
  本稿では,グラフニューラルネットワーク(GNN)符号化を用いたエンドツーエンドのコンテキストASRを実現するための革新的な手法を提案する。 GNNエンコーディングは、各ツリーノードでのASR復号処理において、将来のワードピースのルックアヘッドを促進する。 Librispeech と AMI corpus を用いて,視覚的な文脈的 ASR パイプラインに従ってシステム性能を評価した。
  論文  参考訳（メタデータ） (2023-05-30T08:20:58Z)
• Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings [0.0]
  本研究では、教師なし符号化タスクで訓練された残効再帰ネットワークを用いて、非可逆文埋め込みのための新しいモデルを提案する。 ニューラルネットワーク翻訳モデルに共通する確率的出力ではなく、回帰に基づく出力層を用いて入力シーケンスのワードベクトルを再構成する。 RNNはLSTMや2次最適化法などのメモリユニットを必要とすることを考えると、このモデルはADAMによる高精度かつ高速なトレーニングを実現している。
  論文  参考訳（メタデータ） (2023-03-23T15:59:06Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Distillation of Weighted Automata from Recurrent Neural Networks using a Spectral Approach [0.0]
  本稿では,ディープラーニングと文法推論のギャップを埋める試みである。 言語モデリングのためにトレーニングされたリカレントニューラルネットワークからフォーマルな言語を抽出するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-09-28T07:04:15Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。