論文の概要: Manifold for Machine Learning Assurance
- arxiv url: http://arxiv.org/abs/2002.03147v1
- Date: Sat, 8 Feb 2020 11:39:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 22:19:59.384076
- Title: Manifold for Machine Learning Assurance
- Title(参考訳): 機械学習保証用多様体
- Authors: Taejoon Byun, Sanjai Rayadurgam
- Abstract要約: 本稿では,機械学習(ML)システムにおいて,要求システムを暗黙的に記述した高次元学習データから抽出する機械学習手法を提案する。
その後、テストの精度測定、テスト入力生成、ターゲットのMLシステムの実行時の監視など、さまざまな品質保証タスクに利用されます。
予備実験により, 提案手法により, 試験精度が試験データの多様性を推し進めるとともに, テスト生成手法が故障を防止し, 現実的なテストケースを生み出すことが確認され, 実行時モニタリングは, 対象システムの出力の信頼性を独立的に評価する手段を提供する。
- 参考スコア(独自算出の注目度): 9.594432031144716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing use of machine-learning (ML) enabled systems in critical tasks
fuels the quest for novel verification and validation techniques yet grounded
in accepted system assurance principles. In traditional system development,
model-based techniques have been widely adopted, where the central premise is
that abstract models of the required system provide a sound basis for judging
its implementation. We posit an analogous approach for ML systems using an ML
technique that extracts from the high-dimensional training data implicitly
describing the required system, a low-dimensional underlying structure--a
manifold. It is then harnessed for a range of quality assurance tasks such as
test adequacy measurement, test input generation, and runtime monitoring of the
target ML system. The approach is built on variational autoencoder, an
unsupervised method for learning a pair of mutually near-inverse functions
between a given high-dimensional dataset and a low-dimensional representation.
Preliminary experiments establish that the proposed manifold-based approach,
for test adequacy drives diversity in test data, for test generation yields
fault-revealing yet realistic test cases, and for runtime monitoring provides
an independent means to assess trustability of the target system's output.
- Abstract(参考訳): 機械学習(ML)の使用の増加により、重要なタスクにおけるシステムは、受け入れられたシステム保証原則に根ざした、新しい検証と検証技術の探求を促進する。
従来のシステム開発では、モデルに基づく手法が広く採用されており、その中心となる前提は、必要なシステムの抽象モデルがその実装を判断するための健全な基礎を提供することである。
本稿では,低次元構造体である低次元構造体を暗黙的に記述した高次元トレーニングデータから抽出するML手法を用いて,MLシステムに類似したアプローチを提案する。
その後、テストの精度測定、テスト入力生成、ターゲットのMLシステムの実行時の監視など、さまざまな品質保証タスクに利用されます。
このアプローチは変分オートエンコーダに基づいており、与えられた高次元データセットと低次元表現の間の相互に近接する関数の対を学習する教師なしの方法である。
予備実験により、テストデータの多様性を促進するためのマニホールドベースアプローチは、テスト生成においてフォールトトレバーでありながら現実的なテストケースをもたらし、ランタイム監視は、ターゲットシステムの出力の信頼性を評価する独立した手段を提供する。
関連論文リスト
- Discovering Decision Manifolds to Assure Trusted Autonomous Systems [0.0]
本稿では,システムが提示できる正誤応答の範囲を最適化した探索手法を提案する。
この多様体は、従来のテストやモンテカルロシミュレーションよりもシステムの信頼性をより詳細に理解する。
この概念実証では,本手法を自動運転車のループ内ソフトウェア評価に適用する。
論文 参考訳(メタデータ) (2024-02-12T16:55:58Z) - Distributionally Robust Statistical Verification with Imprecise Neural
Networks [4.094049541486327]
AI安全性における特に困難な問題は、高次元自律システムの振る舞いを保証することだ。
本稿では,アクティブラーニング,不確実性定量化,ニューラルネットワーク検証を組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-28T18:06:24Z) - Dynamic Model Agnostic Reliability Evaluation of Machine-Learning
Methods Integrated in Instrumentation & Control Systems [1.8978726202765634]
データ駆動型ニューラルネットワークベースの機械学習アルゴリズムの信頼性は十分に評価されていない。
National Institute for Standards and Technologyの最近のレポートでは、MLにおける信頼性は採用にとって重要な障壁となっている。
トレーニングデータセットにアウト・オブ・ディストリビューション検出を組み込むことにより、ML予測の相対的信頼性を評価するためのリアルタイムモデル非依存手法を実証する。
論文 参考訳(メタデータ) (2023-08-08T18:25:42Z) - Interactive System-wise Anomaly Detection [66.3766756452743]
異常検出は様々なアプリケーションにおいて基本的な役割を果たす。
既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。
システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
論文 参考訳(メタデータ) (2023-04-21T02:20:24Z) - Learning-Based Optimal Control with Performance Guarantees for Unknown Systems with Latent States [4.4820711784498]
本稿では,潜在状態を持つ未知非線形系に対する最適入力軌道の計算法を提案する。
提案手法の有効性を数値シミュレーションで示す。
論文 参考訳(メタデータ) (2023-03-31T11:06:09Z) - The Integration of Machine Learning into Automated Test Generation: A
Systematic Mapping Study [15.016047591601094]
我々は、新しい研究、テストプラクティス、研究者の目標、適用されたML技術、評価、課題を特徴づける。
MLはシステム、GUI、ユニット、パフォーマンス、テストのための入力を生成したり、既存の生成メソッドのパフォーマンスを改善したりする。
論文 参考訳(メタデータ) (2022-06-21T09:26:25Z) - Supervised DKRC with Images for Offline System Identification [77.34726150561087]
現代の力学系はますます非線形で複雑なものになりつつある。
予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。
本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
論文 参考訳(メタデータ) (2021-09-06T04:39:06Z) - An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。
本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
論文 参考訳(メタデータ) (2021-08-09T17:39:09Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳(メタデータ) (2021-02-15T19:56:48Z) - Active Learning for Nonlinear System Identification with Guarantees [102.43355665393067]
状態遷移が既知の状態-作用対の特徴埋め込みに線形に依存する非線形力学系のクラスについて検討する。
そこで本稿では, トラジェクティブ・プランニング, トラジェクティブ・トラッキング, システムの再推定という3つのステップを繰り返すことで, この問題を解決するためのアクティブ・ラーニング・アプローチを提案する。
本手法は, 非線形力学系を標準線形回帰の統計速度と同様, パラメトリック速度で推定する。
論文 参考訳(メタデータ) (2020-06-18T04:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。