論文の概要: Machine Learning Data Suitability and Performance Testing Using Fault
Injection Testing Framework
- arxiv url: http://arxiv.org/abs/2309.11274v1
- Date: Wed, 20 Sep 2023 12:58:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 16:10:28.997169
- Title: Machine Learning Data Suitability and Performance Testing Using Fault
Injection Testing Framework
- Title（参考訳）: フォールトインジェクションテストフレームワークを用いた機械学習データ適合性とパフォーマンステスト
- Authors: Manal Rahal and Bestoun S. Ahmed and Jorgen Samuelsson
- Abstract要約: 本稿では,入力データ(FIUL-Data)テストフレームワークにおける望ましくない学習のためのフォールトインジェクションを提案する。
データミュータは、さまざまな障害注入の影響に対して、MLシステムの脆弱性を探索する。
本稿では, アンチセンスオリゴヌクレオチドの保持時間測定を含む分析化学データを用いて, フレームワークの評価を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating resilient machine learning (ML) systems has become necessary to
ensure production-ready ML systems that acquire user confidence seamlessly. The
quality of the input data and the model highly influence the successful
end-to-end testing in data-sensitive systems. However, the testing approaches
of input data are not as systematic and are few compared to model testing. To
address this gap, this paper presents the Fault Injection for Undesirable
Learning in input Data (FIUL-Data) testing framework that tests the resilience
of ML models to multiple intentionally-triggered data faults. Data mutators
explore vulnerabilities of ML systems against the effects of different fault
injections. The proposed framework is designed based on three main ideas: The
mutators are not random; one data mutator is applied at an instance of time,
and the selected ML models are optimized beforehand. This paper evaluates the
FIUL-Data framework using data from analytical chemistry, comprising retention
time measurements of anti-sense oligonucleotide. Empirical evaluation is
carried out in a two-step process in which the responses of selected ML models
to data mutation are analyzed individually and then compared with each other.
The results show that the FIUL-Data framework allows the evaluation of the
resilience of ML models. In most experiments cases, ML models show higher
resilience at larger training datasets, where gradient boost performed better
than support vector regression in smaller training sets. Overall, the mean
squared error metric is useful in evaluating the resilience of models due to
its higher sensitivity to data mutation.
- Abstract（参考訳）: ユーザ信頼性をシームレスに獲得する実運用対応のMLシステムを保証するためには,レジリエント機械学習(ML)システムの構築が必要である。
入力データの品質とモデルが、データに敏感なシステムのエンドツーエンドテストの成功に大きく影響する。
しかし、入力データのテストアプローチは体系的ではなく、モデルテストと比較しても少ない。
本稿では,複数のデータ障害に対するmlモデルのレジリエンスをテストする入力データ(fiul-data)テストフレームワークにおける,望ましくない学習のためのフォールトインジェクションを提案する。
データミュータレータは、異なるフォールトインジェクションの影響に対するmlシステムの脆弱性を探索する。
提案されたフレームワークは、3つの主要なアイデアに基づいて設計されている: ミュータはランダムではない; 1つのデータミュータレータがインスタンスで適用され、選択されたmlモデルが事前に最適化されている。
本稿では,アンチセンスオリゴヌクレオチドの保持時間測定を含む分析化学データを用いて,fiul-dataフレームワークを評価する。
データ変異に対する選択されたMLモデルの応答を個別に分析し、比較する2段階のプロセスで経験的評価を行う。
その結果,fiul-dataフレームワークにより,mlモデルのレジリエンス評価が可能となった。
ほとんどの実験では、mlモデルがより大きなトレーニングデータセットにおいて高いレジリエンスを示しており、より小さなトレーニングセットでベクタ回帰をサポートするよりも勾配ブーストが優れている。
全体として、平均二乗誤差計量は、データ変異に対する高い感度のためにモデルのレジリエンスを評価するのに有用である。
関連論文リスト
- Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。
最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
論文 参考訳（メタデータ） (2024-10-31T15:06:16Z) - Retrosynthesis prediction enhanced by in-silico reaction data
augmentation [66.5643280109899]
RetroWISEは,実データから推定されるベースモデルを用いて,シリコン内反応の生成と増大を行うフレームワークである。
3つのベンチマークデータセットで、RetroWISEは最先端モデルに対して最高の全体的なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-01-31T07:40:37Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳（メタデータ） (2023-09-13T10:40:41Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Information FOMO: The unhealthy fear of missing out on information. A method for removing misleading data for healthier models [0.0]
ミスリーディングや不要なデータは、マシンラーニング(ML)モデルの健全性や正確性に大きく影響します。
本稿では,データセット内の重要な情報を特定するシーケンシャルな選択法を提案する。
これらの不安定性は、基礎となるマップの複雑さの結果であり、極端な事象や重い尾と結びついている。
論文 参考訳（メタデータ） (2022-08-27T19:43:53Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - Effect of Balancing Data Using Synthetic Data on the Performance of
Machine Learning Classifiers for Intrusion Detection in Computer Networks [3.233545237942899]
アカデミックと産業の研究者たちは、コンピュータネットワークのための侵入検知システム(IDSe)の設計と実装に機械学習(ML)技術を使用した。
このようなシステムで使用される多くのデータセットでは、データは不均衡である(つまり、すべてのクラスが同じ量のサンプルを持っているわけではない)。
また,CTGANが生成した合成試料とバランスの取れたデータセット上でのMLモデルのトレーニングにより,予測精度が最大8%向上した。
論文 参考訳（メタデータ） (2022-04-01T00:25:11Z) - Classifier Data Quality: A Geometric Complexity Based Method for
Automated Baseline And Insights Generation [4.722075132982135]
主な課題は、モデルの精度や分類器のF1スコアなどの誤りのレベルが受け入れられるかどうかを決定することである。
我々は、与えられた観測が真のクラスラベルに割り当てるのがいかに困難であるかを定量化する複雑性測定法を開発した。
これらの尺度は、線形計算コストに対して、各観測の分類複雑性を説明可能な形で定量化するという点において、ベストプラクティスのベースラインよりも優れている。
論文 参考訳（メタデータ） (2021-12-22T12:17:08Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Out-Of-Bag Anomaly Detection [0.9449650062296822]
データ異常は、実世界のデータセットでユビキタスであり、機械学習(ML)システムに悪影響を及ぼす可能性がある。
本稿では,新しいモデルに基づく異常検出手法を提案し,その手法をアウト・オブ・バグ検出と呼ぶ。
本手法は,家庭評価のケーススタディを通じて,データ前処理のステップとして,MLシステムの精度と信頼性を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-09-20T06:01:52Z) - Data and Model Dependencies of Membership Inference Attack [13.951470844348899]
我々は、データとMLモデル特性の両方がMIAに対するML手法の脆弱性に与える影響を実証分析する。
この結果から,MIAの精度とデータセットの特性と使用中のトレーニングモデルとの関係が明らかになった。
我々は,これらのデータとモデル特性をレギュレータとして利用し,MLモデルをMIAに対して保護することを提案する。
論文 参考訳（メタデータ） (2020-02-17T09:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。