論文の概要: Rare event failure test case generation in Learning-Enabled-Controllers

• arxiv url: http://arxiv.org/abs/2206.05533v1
• Date: Sat, 11 Jun 2022 13:50:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-19 08:42:31.141910
• Title: Rare event failure test case generation in Learning-Enabled-Controllers
• Title（参考訳）: 学習型制御器における希少事象テストケース生成
• Authors: Harsh Vardhan, Janos Sztipanovits
• Abstract要約: 機械学習モデルは現実世界の多くの問題に広く応用されている。 これらのトレーニングされたシステムの潜在的な障害を明らかにするテストケースを見つけることは、それらのモデルの正しさを高めるために、これらのモデルを再トレーニングするのに役立ちます。 本稿では、従来のランダム化検索よりも高速にこれらの障害シナリオを見つけるという課題に対処する。
• 参考スコア（独自算出の注目度）: 0.799536002595393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models have prevalent applications in many real-world problems, which increases the importance of correctness in the behaviour of these trained models. Finding a good test case that can reveal the potential failure in these trained systems can help to retrain these models to increase their correctness. For a well-trained model, the occurrence of a failure is rare. Consequently, searching these rare scenarios by evaluating each sample in input search space or randomized search would be costly and sometimes intractable due to large search space, limited computational resources, and available time. In this paper, we tried to address this challenge of finding these failure scenarios faster than traditional randomized search. The central idea of our approach is to separate the input data space in region of high failure probability and region of low/minimal failure probability based on the observation made by training data, data drawn from real-world statistics, and knowledge from a domain expert. Using these information, we can design a generative model from which we can generate scenarios that have a high likelihood to reveal the potential failure. We evaluated this approach on two different experimental scenarios and able to speed up the discovery of such failures a thousand-fold faster than the traditional randomized search.
• Abstract（参考訳）: 機械学習モデルは現実世界の多くの問題に広く応用されており、これらの訓練されたモデルの振る舞いにおける正しさの重要性を高める。 これらのトレーニングされたシステムの潜在的な障害を明らかにする優れたテストケースを見つけることは、これらのモデルを再トレーニングして、正確性を高めるのに役立つ。 十分に訓練されたモデルでは、失敗の発生は稀である。 従って、入力された検索空間やランダムな検索で各サンプルを評価することで、これらのまれなシナリオを探索することは、大きな検索空間、限られた計算資源、利用可能な時間のためにコストがかかり、時には難しくなる。 本稿では,従来のランダム検索よりも高速にこれらの障害シナリオを見つけるという課題に対処する。 提案手法の中心となる考え方は,学習データ,実世界の統計から得られたデータ,ドメインの専門家からの知識に基づいて,高障害確率領域と低/最小障害確率領域の入力データ空間を分離することである。 これらの情報を用いて、潜在的な失敗を明らかにする可能性の高いシナリオを生成できる生成モデルを設計できる。 この手法を2つの異なる実験シナリオで評価し、従来のランダム化探索よりも1000倍高速に失敗の発見を高速化した。

関連論文リスト

• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Reduced Robust Random Cut Forest for Out-Of-Distribution detection in machine learning models [0.799536002595393]
  ほとんどの機械学習ベースの回帰器は、限られた長さの過去の観測を通して収集されたデータから情報を抽出し、将来予測する。 これらのトレーニングモデルへの入力は、トレーニングに使用されるデータと統計特性が著しく異なるデータである場合、正確な予測は保証されない。 本稿では,ロバストランダムカットフォレストデータ構造を用いた新しい検出手法を提案する。
  論文  参考訳（メタデータ） (2022-06-18T17:01:40Z)
• Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
  アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。 深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。 本稿では,外周露光を伴わない新しい検出指標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:36:10Z)
• Simulated Adversarial Testing of Face Recognition Models [53.10078734154151]
  本稿では,シミュレータを用いて機械学習アルゴリズムの検証方法を学ぶためのフレームワークを提案する。 実データでトレーニングされたモデルの弱点が、シミュレーションサンプルを使って発見できることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-08T17:58:10Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
  オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。 CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。 複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-12T06:23:49Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)
• Harnessing Adversarial Distances to Discover High-Confidence Errors [0.0]
  モデル信頼度から予測されるよりも高いレートで誤りを発見する問題について検討する。 本稿では, 対向的摂動によって導かれる, クエリ効率が高く, 新規な探索手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T13:44:16Z)
• AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning [72.99415402575886]
  外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。 本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。 さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-06-19T18:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。