論文の概要: Extracting Finite Automata from RNNs Using State Merging
- arxiv url: http://arxiv.org/abs/2201.12451v1
- Date: Fri, 28 Jan 2022 23:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 16:56:21.250296
- Title: Extracting Finite Automata from RNNs Using State Merging
- Title（参考訳）: 状態マージによるRNNからの有限オートマタ抽出
- Authors: William Merrill and Nikolaos Tsilivis
- Abstract要約: 文法的推論から状態マージパラダイムに着想を得たRNNから有限オートマトンを抽出する手法を提案する。
提案手法の有効性をTomita言語ベンチマークで検証したところ,ベンチマーク中のすべての言語でトレーニングされたRNNから忠実なオートマトンを抽出できることが確認された。
- 参考スコア（独自算出の注目度）: 1.8072051868187933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One way to interpret the behavior of a blackbox recurrent neural network
(RNN) is to extract from it a more interpretable discrete computational model,
like a finite state machine, that captures its behavior. In this work, we
propose a new method for extracting finite automata from RNNs inspired by the
state merging paradigm from grammatical inference. We demonstrate the
effectiveness of our method on the Tomita languages benchmark, where we find
that it is able to extract faithful automata from RNNs trained on all languages
in the benchmark. We find that extraction performance is aided by the number of
data provided during the extraction process, as well as, curiously, whether the
RNN model is trained for additional epochs after perfectly learning its target
language. We use our method to analyze this phenomenon, finding that training
beyond convergence is useful because it leads to compression of the internal
state space of the RNN. This finding demonstrates how our method can be used
for interpretability and analysis of trained RNN models.
- Abstract（参考訳）: blackbox recurrent neural network(rnn)の振る舞いを解釈する一つの方法は、より解釈可能な離散計算モデルからその振る舞いをキャプチャする有限状態機械のように抽出することである。
本研究では,rnnから有限オートマトンを抽出する新しい手法を提案する。
提案手法の有効性をTomita言語ベンチマークで検証したところ,ベンチマーク中のすべての言語でトレーニングされたRNNから忠実なオートマトンを抽出できることがわかった。
抽出性能は抽出プロセス中に提供されるデータ数と、ターゲット言語を完全に学習した後、RNNモデルが追加のエポックのために訓練されているかどうかによって支援される。
我々はこの現象を解析するためにこの手法を用い,RNNの内部状態空間の圧縮につながるため,収束を超えたトレーニングが有用であることを確認した。
そこで本研究では,RNNモデルの解釈可能性と解析に本手法をどのように利用できるかを示す。
関連論文リスト
- Learning Useful Representations of Recurrent Neural Network Weight Matrices [30.583752432727326]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。
下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか?
我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。
我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
論文 参考訳（メタデータ） (2024-03-18T17:32:23Z) - DeepCover: Advancing RNN Test Coverage and Online Error Prediction using
State Machine Extraction [0.0]
リカレントニューラルネットワーク(RNN)は、自然言語処理や音声認識など、さまざまな分野でシーケンシャルなデータを処理するための強力なツールとして登場した。
RNNモデルにおける説明可能性の欠如は解釈可能性を制限し、内部動作を理解する上での課題を提起している。
本稿では、RNNモデルから状態マシン(SM)を抽出し、内部機能に関する洞察を提供する手法を提案する。
論文 参考訳（メタデータ） (2024-02-10T14:45:23Z) - On the Representational Capacity of Recurrent Neural Language Models [56.19166912044362]
計算時間を持つ有理重み付きRLMは、有理重み付き遷移を持つ決定論的確率的チューリングマシン(PTM)をシミュレートできることを示す。
また, 実時間計算の制約下では, 決定論的実時間有理PTMをシミュレートできることを示した。
論文 参考訳（メタデータ） (2023-10-19T17:39:47Z) - On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳（メタデータ） (2023-09-26T06:06:47Z) - Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。
ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。
実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
論文 参考訳（メタデータ） (2023-09-14T03:36:01Z) - DeepSeer: Interactive RNN Explanation and Debugging via State
Abstraction [10.110976560799612]
リカレントニューラルネットワーク(RNN)は自然言語処理(NLP)タスクで広く使われている。
DeepSeerは、RNNの振る舞いのグローバルとローカルの両方の説明を提供するインタラクティブシステムである。
論文 参考訳（メタデータ） (2023-03-02T21:08:17Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Extracting Weighted Finite Automata from Recurrent Neural Networks for
Natural Languages [9.249443355045967]
リカレントニューラルネットワーク(RNN)はシーケンシャルなデータ処理において大きな成功を収めている。
RNNの動作を直接解釈し、検証することは極めて困難である。
本稿では,自然言語処理モデルにスケーラブルな遷移規則抽出手法を提案する。
論文 参考訳（メタデータ） (2022-06-27T09:30:13Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。
従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。
ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
論文 参考訳（メタデータ） (2021-05-27T09:27:42Z) - Distillation of Weighted Automata from Recurrent Neural Networks using a
Spectral Approach [0.0]
本稿では,ディープラーニングと文法推論のギャップを埋める試みである。
言語モデリングのためにトレーニングされたリカレントニューラルネットワークからフォーマルな言語を抽出するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2020-09-28T07:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。