論文の概要: DeepCover: Advancing RNN Test Coverage and Online Error Prediction using
State Machine Extraction
- arxiv url: http://arxiv.org/abs/2402.06966v1
- Date: Sat, 10 Feb 2024 14:45:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:19:28.260929
- Title: DeepCover: Advancing RNN Test Coverage and Online Error Prediction using
State Machine Extraction
- Title（参考訳）: DeepCover: ステートマシン抽出によるRNNテストカバレッジとオンラインエラー予測の改善
- Authors: Pouria Golshanrad and Fathiyeh Faghih
- Abstract要約: リカレントニューラルネットワーク(RNN)は、自然言語処理や音声認識など、さまざまな分野でシーケンシャルなデータを処理するための強力なツールとして登場した。
RNNモデルにおける説明可能性の欠如は解釈可能性を制限し、内部動作を理解する上での課題を提起している。
本稿では、RNNモデルから状態マシン(SM)を抽出し、内部機能に関する洞察を提供する手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent neural networks (RNNs) have emerged as powerful tools for
processing sequential data in various fields, including natural language
processing and speech recognition. However, the lack of explainability in RNN
models has limited their interpretability, posing challenges in understanding
their internal workings. To address this issue, this paper proposes a
methodology for extracting a state machine (SM) from an RNN-based model to
provide insights into its internal function. The proposed SM extraction
algorithm was assessed using four newly proposed metrics: Purity, Richness,
Goodness, and Scale. The proposed methodology along with its assessment metrics
contribute to increasing explainability in RNN models by providing a clear
representation of their internal decision making process through the extracted
SM. In addition to improving the explainability of RNNs, the extracted SM can
be used to advance testing and and monitoring of the primary RNN-based model.
To enhance RNN testing, we introduce six model coverage criteria based on the
extracted SM, serving as metrics for evaluating the effectiveness of test
suites designed to analyze the primary model. We also propose a tree-based
model to predict the error probability of the primary model for each input
based on the extracted SM. We evaluated our proposed online error prediction
approach using the MNIST dataset and Mini Speech Commands dataset, achieving an
area under the curve (AUC) exceeding 80\% for the receiver operating
characteristic (ROC) chart.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、自然言語処理や音声認識など、さまざまな分野でシーケンシャルなデータを処理するための強力なツールとして登場した。
しかしながら、RNNモデルにおける説明可能性の欠如は解釈可能性に制限を与え、内部動作を理解する上での課題を提起している。
本稿では,RNNモデルから状態マシン(SM)を抽出し,内部機能に関する洞察を提供する手法を提案する。
提案したSM抽出アルゴリズムは,Purity, Richness, Goodness, Scaleの4つの新しい指標を用いて評価した。
提案手法は,その評価指標とともに,抽出したSMによる内部決定過程の明確な表現を提供することにより,RNNモデルの説明可能性の向上に寄与する。
RNNの説明性の向上に加えて,抽出したSMを用いて,RNNベースモデルの試験およびモニタリングを行うことができる。
RNNテストを強化するために,抽出したSMに基づく6つのモデルカバレッジ基準を導入し,プライマリモデルを解析するために設計されたテストスイートの有効性を評価する指標として機能する。
また,抽出したSMに基づいて,各入力に対する一次モデルの誤差確率を予測する木モデルを提案する。
MNISTデータセットとMini Speech Commandsデータセットを用いて,提案したオンライン誤り予測手法を評価し,受信機動作特性(ROC)チャートにおいて,曲線(AUC)以下の領域を80%以上達成した。
関連論文リスト
- DeepSeer: Interactive RNN Explanation and Debugging via State
Abstraction [10.110976560799612]
リカレントニューラルネットワーク(RNN)は自然言語処理(NLP)タスクで広く使われている。
DeepSeerは、RNNの振る舞いのグローバルとローカルの両方の説明を提供するインタラクティブシステムである。
論文 参考訳（メタデータ） (2023-03-02T21:08:17Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Extracting Finite Automata from RNNs Using State Merging [1.8072051868187933]
文法的推論から状態マージパラダイムに着想を得たRNNから有限オートマトンを抽出する手法を提案する。
提案手法の有効性をTomita言語ベンチマークで検証したところ,ベンチマーク中のすべての言語でトレーニングされたRNNから忠実なオートマトンを抽出できることが確認された。
論文 参考訳（メタデータ） (2022-01-28T23:03:25Z) - RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。
この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。
ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
論文 参考訳（メタデータ） (2021-10-27T05:37:12Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳（メタデータ） (2021-10-20T06:15:45Z) - Handling Missing Observations with an RNN-based Prediction-Update Cycle [10.478312054103975]
追跡などのタスクでは、時系列データは必然的に観察を欠いている。
本稿では,動作状態推定のための全時間フィルタリングサイクルを提供するRNNベースのアプローチを提案する。
論文 参考訳（メタデータ） (2021-03-22T11:55:10Z) - MEME: Generating RNN Model Explanations via Model Extraction [6.55705721360334]
MEMEは、人間の理解可能な概念とその相互作用で表される解釈可能なモデルでRNNを近似できるモデル抽出手法である。
解釈可能な概念相互作用を介してRNNの意思決定を近似することにより、MEMEがローカルとグローバルの両方でRNNを解釈する方法を示す。
論文 参考訳（メタデータ） (2020-12-13T04:00:08Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳（メタデータ） (2020-10-18T16:55:25Z) - Frequentist Uncertainty in Recurrent Neural Networks via Blockwise
Influence Functions [121.10450359856242]
リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。
RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。
a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
論文 参考訳（メタデータ） (2020-06-20T22:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。