論文の概要: Themis: Automatic and Efficient Deep Learning System Testing with Strong Fault Detection Capability
- arxiv url: http://arxiv.org/abs/2405.09314v2
- Date: Fri, 24 May 2024 05:29:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 20:07:58.727011
- Title: Themis: Automatic and Efficient Deep Learning System Testing with Strong Fault Detection Capability
- Title（参考訳）: Themis: 強い故障検出機能を備えた自動かつ効率的なディープラーニングシステムテスト
- Authors: Dong Huang, Xiaofei Xie, Heming Cui,
- Abstract要約: 深層学習システム(DLS)はオートパイロットのような安全クリティカルなタスクに広く応用されている。
DLSテスト技術は、障害を引き起こすデータフローを探索するために摂動入力を生成することによって障害を検出する。
最近の研究では、このような手作業は面倒であり、わずかな障害発生データフローしか検出できないことが示されている。
Themisは, 断層検出能力の強い最初の自動DLSテストシステムである。
- 参考スコア（独自算出の注目度）: 22.110775089396935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning Systems (DLSs) have been widely applied in safety-critical tasks such as autopilot. However, when a perturbed input is fed into a DLS for inference, the DLS often has incorrect outputs (i.e., faults). DLS testing techniques (e.g., DeepXplore) detect such faults by generating perturbed inputs to explore data flows that induce faults. Since a DLS often has infinitely many data flows, existing techniques require developers to manually specify a set of activation values in a DLS's neurons for exploring fault-inducing data flows. Unfortunately, recent studies show that such manual effort is tedious and can detect only a tiny proportion of fault-inducing data flows. In this paper, we present Themis, the first automatic DLS testing system, which attains strong fault detection capability by ensuring a full coverage of fault-inducing data flows at a high probability. Themis carries a new workflow for automatically and systematically revealing data flows whose internal neurons' outputs vary substantially when the inputs are slightly perturbed, as these data flows are likely fault-inducing. We evaluated Themis on ten different DLSs and found that on average the number of faults detected by Themis was 3.78X more than four notable DLS testing techniques. By retraining all evaluated DLSs with the detected faults, Themis also increased (regained) these DLSs' accuracies on average 14.7X higher than all baselines.
- Abstract（参考訳）: 深層学習システム(DLS)はオートパイロットのような安全クリティカルなタスクに広く応用されている。
しかし、摂動入力が推論のためにDLSに入力されると、DLSはしばしば誤った出力(すなわち障害)を持つ。
DLSテスト技術(例:DeepXplore)は、障害を引き起こすデータフローを探索するために摂動入力を生成することによって、そのような障害を検出する。
DLSは無限に多くのデータフローを持つことが多いため、既存の技術では、開発者は障害を引き起こすデータフローを探索するために、DLSのニューロンにアクティベーション値のセットを手動で指定する必要がある。
残念なことに、最近の研究では、このような手作業は面倒で、少数のフォールトインジェクションデータフローしか検出できないことが示されている。
本稿では,障害発生データフローのフルカバレッジを高い確率で確保することにより,強い障害検出能力を実現する,最初の自動DLSテストシステムであるThemisを提案する。
Themisは新しいワークフローを持ち、内部のニューロンの出力がわずかに乱れたときに大きく変化するデータフローを自動的に体系的に明らかにする。
Themisを10種類のDLSで評価したところ,テミスによって検出された断層の数は,4種類のDLS試験法より平均3.78倍多かった。
測定された全てのDLSを検出された断層で再訓練することで、テミスは全ての基準線よりも平均14.7倍高い精度でこれらのDLSの加速度を上昇させた(再確認)。
関連論文リスト
- Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。
本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
論文 参考訳（メタデータ） (2024-06-24T04:17:03Z) - Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳（メタデータ） (2024-06-02T16:53:21Z) - Improved AutoEncoder with LSTM module and KL divergence [3.1168862003127797]
本稿では,LSTMモジュールとKullback-Leibler divergence(IAE-LSTM-KL)モデルを用いた改良オートエンコーダを提案する。
IAE-LSTM-KLモデルの有効性は、合成データセットと実世界のデータセットの両方で実験によって検証される。
論文 参考訳（メタデータ） (2024-04-30T04:11:21Z) - ISimDL: Importance Sampling-Driven Acceleration of Fault Injection
Simulations for Evaluating the Robustness of Deep Learning [10.757663798809144]
我々は,重要なサンプリングに基づく障害シナリオを生成するために,ニューロンの感度を利用する新しい手法であるISimDLを提案する。
実験の結果, ランダムな一様サンプリングよりも臨界断層を選択する場合, 重要サンプリングは最大15倍の精度で, 100個未満の故障でその精度に達することがわかった。
論文 参考訳（メタデータ） (2023-03-14T16:15:28Z) - Transfer Learning for Fault Diagnosis of Transmission Lines [55.971052290285485]
事前学習されたLeNet-5畳み込みニューラルネットワークに基づく新しい伝達学習フレームワークを提案する。
ソースニューラルネットワークから知識を転送して、異種ターゲットデータセットを予測することで、異なる伝送ラインの長さとインピーダンスの障害を診断することができる。
論文 参考訳（メタデータ） (2022-01-20T06:36:35Z) - DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly
detection in air transportation [68.8204255655161]
識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。
通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。
その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
論文 参考訳（メタデータ） (2021-09-08T14:07:55Z) - Detecting Faults during Automatic Screwdriving: A Dataset and Use Case
of Anomaly Detection for Automatic Screwdriving [80.6725125503521]
障害検出に機械学習(ML)を使用したデータ駆動型アプローチが最近注目されている。
本稿では,自動スクリュー運転時の故障検出にMLモデルを用いた場合について述べる。
論文 参考訳（メタデータ） (2021-07-05T11:46:00Z) - Detection of Dataset Shifts in Learning-Enabled Cyber-Physical Systems
using Variational Autoencoder for Regression [1.5039745292757671]
回帰問題に対してデータセットシフトを効果的に検出する手法を提案する。
提案手法は帰納的共形異常検出に基づいており,回帰モデルに変分オートエンコーダを用いる。
自動運転車用オープンソースシミュレータに実装された高度緊急ブレーキシステムを用いて,本手法を実証する。
論文 参考訳（メタデータ） (2021-04-14T03:46:37Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳（メタデータ） (2020-03-11T00:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。