論文の概要: Weighted Automata Extraction and Explanation of Recurrent Neural
Networks for Natural Language Tasks
- arxiv url: http://arxiv.org/abs/2306.14040v1
- Date: Sat, 24 Jun 2023 19:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 17:31:39.631145
- Title: Weighted Automata Extraction and Explanation of Recurrent Neural
Networks for Natural Language Tasks
- Title（参考訳）: 自然言語タスクのための重み付きオートマトン抽出と繰り返しニューラルネットワークの説明
- Authors: Zeming Wei, Xiyue Zhang, Yihao Zhang, Meng Sun
- Abstract要約: リカレントニューラルネットワーク(RNN)はシーケンシャルなデータ処理において大きな成功を収めていますが、その動作を理解し分析することは大きな課題です。
本稿では,自然言語タスクの制限に対処するために,重み付き有限オートマタ(WFA)抽出と説明を行う新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.331024247043999
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent Neural Networks (RNNs) have achieved tremendous success in
processing sequential data, yet understanding and analyzing their behaviours
remains a significant challenge. To this end, many efforts have been made to
extract finite automata from RNNs, which are more amenable for analysis and
explanation. However, existing approaches like exact learning and compositional
approaches for model extraction have limitations in either scalability or
precision. In this paper, we propose a novel framework of Weighted Finite
Automata (WFA) extraction and explanation to tackle the limitations for natural
language tasks. First, to address the transition sparsity and context loss
problems we identified in WFA extraction for natural language tasks, we propose
an empirical method to complement missing rules in the transition diagram, and
adjust transition matrices to enhance the context-awareness of the WFA. We also
propose two data augmentation tactics to track more dynamic behaviours of RNN,
which further allows us to improve the extraction precision. Based on the
extracted model, we propose an explanation method for RNNs including a word
embedding method -- Transition Matrix Embeddings (TME) and TME-based task
oriented explanation for the target RNN. Our evaluation demonstrates the
advantage of our method in extraction precision than existing approaches, and
the effectiveness of TME-based explanation method in applications to
pretraining and adversarial example generation.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)はシーケンシャルなデータ処理において大きな成功を収めていますが、その動作を理解し分析することは大きな課題です。
この目的のために、RNNから有限オートマトンを抽出する多くの取り組みがなされており、分析や説明に適している。
しかし、モデル抽出のための正確な学習や構成アプローチのような既存のアプローチは、スケーラビリティまたは精度に制限がある。
本稿では,自然言語タスクの制約に取り組むために,重み付き有限オートマトン(wfa)の抽出と説明の新たな枠組みを提案する。
まず、自然言語処理におけるWFA抽出における過渡性や文脈損失の問題に対処するため、遷移図の欠落規則を補完し、遷移行列を調整し、WFAの文脈認識性を高めるための経験的手法を提案する。
また、RNNのよりダイナミックな動作を追跡するための2つのデータ拡張手法を提案し、抽出精度をさらに向上させる。
抽出したモデルに基づいて,単語埋め込み手法であるトランジションマトリックス埋め込み(TME)と,ターゲットRNNに対するタスク指向の説明を含むRNNの説明手法を提案する。
提案手法は,既存の手法よりも精度の高い抽出法と,事前学習および逆例生成への応用におけるTMEに基づく説明法の有効性を示す。
関連論文リスト
- Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。
合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。
我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
論文 参考訳（メタデータ） (2024-08-18T14:25:44Z) - DeepDFA: Automata Learning through Neural Probabilistic Relaxations [2.3326951882644553]
本稿では,決定論的有限オートマタ(DFA)をトレースから識別する新しい手法であるDeepDFAを紹介する。
DFAとリカレントニューラルネットワーク(RNN)の確率的緩和にインスパイアされた当社のモデルは、複雑性の低減とトレーニング効率の向上とともに、トレーニング後の解釈可能性を提供する。
論文 参考訳（メタデータ） (2024-08-16T09:30:36Z) - Deep Neural Network for Constraint Acquisition through Tailored Loss
Function [0.0]
データから制約を学習することの重要性は、実世界の問題解決における潜在的な応用によって裏付けられている。
この研究は、シンボリック回帰に基づくディープニューラルネットワーク(DNN)に基づく新しいアプローチを導入する。
論文 参考訳（メタデータ） (2024-03-04T13:47:33Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳（メタデータ） (2022-10-24T15:14:26Z) - Extracting Weighted Finite Automata from Recurrent Neural Networks for
Natural Languages [9.249443355045967]
リカレントニューラルネットワーク(RNN)はシーケンシャルなデータ処理において大きな成功を収めている。
RNNの動作を直接解釈し、検証することは極めて困難である。
本稿では,自然言語処理モデルにスケーラブルな遷移規則抽出手法を提案する。
論文 参考訳（メタデータ） (2022-06-27T09:30:13Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-06-08T04:09:13Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Distillation of Weighted Automata from Recurrent Neural Networks using a
Spectral Approach [0.0]
本稿では,ディープラーニングと文法推論のギャップを埋める試みである。
言語モデリングのためにトレーニングされたリカレントニューラルネットワークからフォーマルな言語を抽出するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2020-09-28T07:04:15Z) - Verifiable RNN-Based Policies for POMDPs Under Temporal Logic
Constraints [31.829932777445894]
RNNベースのポリシーの適用の大きな欠点は、行動仕様の満足度に関する正式な保証を提供することの難しさである。
形式的手法と機械学習の技法を統合することにより,RNNから有限状態制御器を自動的に抽出する手法を提案する。
論文 参考訳（メタデータ） (2020-02-13T16:38:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。