論文の概要: Extracting Weighted Finite Automata from Recurrent Neural Networks for Natural Languages

• arxiv url: http://arxiv.org/abs/2206.14621v1
• Date: Mon, 27 Jun 2022 09:30:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 19:44:00.824013
• Title: Extracting Weighted Finite Automata from Recurrent Neural Networks for Natural Languages
• Title（参考訳）: 自然言語用リカレントニューラルネットワークからの重み付き有限オートマタ抽出
• Authors: Zeming Wei, Xiyue Zhang and Meng Sun
• Abstract要約: リカレントニューラルネットワーク(RNN)はシーケンシャルなデータ処理において大きな成功を収めている。 RNNの動作を直接解釈し、検証することは極めて困難である。 本稿では,自然言語処理モデルにスケーラブルな遷移規則抽出手法を提案する。
• 参考スコア（独自算出の注目度）: 9.249443355045967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Neural Networks (RNNs) have achieved tremendous success in sequential data processing. However, it is quite challenging to interpret and verify RNNs' behaviors directly. To this end, many efforts have been made to extract finite automata from RNNs. Existing approaches such as exact learning are effective in extracting finite-state models to characterize the state dynamics of RNNs for formal languages, but are limited in the scalability to process natural languages. Compositional approaches that are scablable to natural languages fall short in extraction precision. In this paper, we identify the transition sparsity problem that heavily impacts the extraction precision. To address this problem, we propose a transition rule extraction approach, which is scalable to natural language processing models and effective in improving extraction precision. Specifically, we propose an empirical method to complement the missing rules in the transition diagram. In addition, we further adjust the transition matrices to enhance the context-aware ability of the extracted weighted finite automaton (WFA). Finally, we propose two data augmentation tactics to track more dynamic behaviors of the target RNN. Experiments on two popular natural language datasets show that our method can extract WFA from RNN for natural language processing with better precision than existing approaches.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)はシーケンシャルなデータ処理において大きな成功を収めている。 しかし,RNNの動作を直接解釈し,検証することは極めて困難である。 この目的のために、RNNから有限オートマトンを抽出するための多くの努力がなされている。 完全学習のような既存のアプローチは、形式言語のためのRNNの状態力学を特徴付ける有限状態モデル抽出に有効であるが、自然言語処理のスケーラビリティには限界がある。 自然言語に適用可能な合成アプローチは抽出精度が不足している。 本稿では,抽出精度に大きな影響を及ぼす遷移スパーシティ問題を明らかにする。 そこで本研究では,自然言語処理モデルにスケーラブルで,抽出精度の向上に有効であるトランジションルール抽出手法を提案する。 具体的には,遷移図の欠落規則を補完する経験的手法を提案する。 さらに,抽出された重み付き有限オートマトン(wfa)の文脈認識能力を高めるために,遷移行列をさらに調整する。 最後に,ターゲットrnnのよりダイナミックな挙動を追跡するための2つのデータ拡張手法を提案する。 2つのポピュラーな自然言語データセットの実験により,提案手法は既存の手法よりも精度良く自然言語処理のためにRNNからWFAを抽出できることが示されている。

関連論文リスト

• DeepDFA: Automata Learning through Neural Probabilistic Relaxations [2.3326951882644553]
  本稿では,決定論的有限オートマタ(DFA)をトレースから識別する新しい手法であるDeepDFAを紹介する。 DFAとリカレントニューラルネットワーク(RNN)の確率的緩和にインスパイアされた当社のモデルは、複雑性の低減とトレーニング効率の向上とともに、トレーニング後の解釈可能性を提供する。
  論文  参考訳（メタデータ） (2024-08-16T09:30:36Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• On the Representational Capacity of Recurrent Neural Language Models [56.19166912044362]
  計算時間を持つ有理重み付きRLMは、有理重み付き遷移を持つ決定論的確率的チューリングマシン(PTM)をシミュレートできることを示す。 また, 実時間計算の制約下では, 決定論的実時間有理PTMをシミュレートできることを示した。
  論文  参考訳（メタデータ） (2023-10-19T17:39:47Z)
• Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
  本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。 ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。 実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
  論文  参考訳（メタデータ） (2023-09-14T03:36:01Z)
• Weighted Automata Extraction and Explanation of Recurrent Neural Networks for Natural Language Tasks [15.331024247043999]
  リカレントニューラルネットワーク(RNN)はシーケンシャルなデータ処理において大きな成功を収めていますが、その動作を理解し分析することは大きな課題です。 本稿では,自然言語タスクの制限に対処するために,重み付き有限オートマタ(WFA)抽出と説明を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-24T19:16:56Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Extracting Finite Automata from RNNs Using State Merging [1.8072051868187933]
  文法的推論から状態マージパラダイムに着想を得たRNNから有限オートマトンを抽出する手法を提案する。 提案手法の有効性をTomita言語ベンチマークで検証したところ,ベンチマーク中のすべての言語でトレーニングされたRNNから忠実なオートマトンを抽出できることが確認された。
  論文  参考訳（メタデータ） (2022-01-28T23:03:25Z)
• Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
  本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。 提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:26:29Z)
• Synthesizing Context-free Grammars from Recurrent Neural Networks (Extended Version) [6.3455238301221675]
  訓練されたリカレントニューラルネットワーク(RNN)から文脈自由文法(CFG)を抽出するアルゴリズムを提案する。 非正規言語を近似した決定論的有限オートマトン(DFAs)のシーケンスを記述する新しいフレームワークであるパターンルールセット(PRS)を開発した。 PRSがCFGにどのように変換されるかを示し、学習言語に親しみやすく有用なプレゼンテーションを可能にする。
  論文  参考訳（メタデータ） (2021-01-20T16:22:25Z)
• Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
  本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。 対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。 R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
  論文  参考訳（メタデータ） (2020-12-07T05:50:27Z)
• Distillation of Weighted Automata from Recurrent Neural Networks using a Spectral Approach [0.0]
  本稿では,ディープラーニングと文法推論のギャップを埋める試みである。 言語モデリングのためにトレーニングされたリカレントニューラルネットワークからフォーマルな言語を抽出するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-09-28T07:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。