論文の概要: Bounding Random Test Set Size with Computational Learning Theory

• arxiv url: http://arxiv.org/abs/2405.17019v1
• Date: Mon, 27 May 2024 10:15:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:01:56.420657
• Title: Bounding Random Test Set Size with Computational Learning Theory
• Title（参考訳）: 計算学習理論を用いたランダムテストセットサイズの境界
• Authors: Neil Walkinshaw, Michael Foster, Jose Miguel Rojas, Robert M Hierons,
• Abstract要約: 私たちは、この質問に答えるための確率論的アプローチが、テストコンテキストにどのように適用できるかを示します。 私たちは、ソースコードのカバレッジターゲットの数だけを知ることで、これを最初に実現しています。 大規模なJavaユニットと自律運転システムで、この境界を検証します。
• 参考スコア（独自算出の注目度）: 0.2999888908665658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Random testing approaches work by generating inputs at random, or by selecting inputs randomly from some pre-defined operational profile. One long-standing question that arises in this and other testing contexts is as follows: When can we stop testing? At what point can we be certain that executing further tests in this manner will not explore previously untested (and potentially buggy) software behaviors? This is analogous to the question in Machine Learning, of how many training examples are required in order to infer an accurate model. In this paper we show how probabilistic approaches to answer this question in Machine Learning (arising from Computational Learning Theory) can be applied in our testing context. This enables us to produce an upper bound on the number of tests that are required to achieve a given level of adequacy. We are the first to enable this from only knowing the number of coverage targets (e.g. lines of code) in the source code, without needing to observe a sample test executions. We validate this bound on a large set of Java units, and an autonomous driving system.
• Abstract（参考訳）: ランダムテストは、ランダムにインプットを生成したり、事前に定義された運用プロファイルからランダムにインプットを選択することで機能する。 この状況と他のテストコンテキストで長く続いた質問は、次のとおりである。 この方法でさらなるテストを実行すると、これまでテストされていない(そして潜在的にバグのある)ソフトウェア動作が調査されないことは、どの時点で確実なのだろうか? これは、正確なモデルを推論するために、トレーニング例がいくつ必要かという機械学習の問題に類似している。 本稿では,機械学習におけるこの問題に対する確率論的アプローチ(計算学習理論に基づく)が,テストコンテキストにどのように適用できるかを示す。 これにより、与えられたレベルの妥当性を達成するのに必要なテストの数に上限を付けることができます。 私たちは、サンプルのテスト実行を観察することなく、ソースコードのカバレッジターゲット(例えばコード行数)の数だけを知ることで、これを最初に実現しました。 大規模なJavaユニットと自律運転システムで、この境界を検証します。

関連論文リスト

• Deep anytime-valid hypothesis testing [29.273915933729057]
  非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。 テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。 合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
  論文  参考訳（メタデータ） (2023-10-30T09:46:19Z)
• AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
  ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。 この問題に対処するためにテスト時適応(TTA)手法が提案されている。 本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
  論文  参考訳（メタデータ） (2023-04-25T04:23:13Z)
• Sequential Kernelized Independence Testing [101.22966794822084]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)
• Supervised Learning for Coverage-Directed Test Selection in Simulation-Based Verification [0.0]
  本稿では,自動制約抽出とテスト選択のための新しい手法を提案する。 カバレッジ指向のテスト選択は、カバレッジフィードバックからの教師付き学習に基づいている。 本稿では,手作業による制約記述の低減,効果的なテストの優先順位付け,検証資源の消費の低減,大規模で実生活のハードウェア設計におけるカバレッジ閉鎖の促進について述べる。
  論文  参考訳（メタデータ） (2022-05-17T17:49:30Z)
• Exact Paired-Permutation Testing for Structured Test Statistics [67.71280539312536]
  構造化されたテスト統計群のペア置換テストに対して,効率的な正確なアルゴリズムを提案する。 我々の正確なアルゴリズムはモンテカルロ近似よりも10ドル速く、共通のデータセットに20000ドルのサンプルがある。
  論文  参考訳（メタデータ） (2022-05-03T11:00:59Z)
• Engineering the Neural Automatic Passenger Counter [0.0]
  我々は、信頼性、性能、そして品質のカウントを向上させるために、機械学習の様々な側面を探求し、活用する。 アンサンブル量子化のようなアグリゲーション技術がバイアスを減少させる方法を示し、その結果の全体的拡散について考察する。
  論文  参考訳（メタデータ） (2022-03-02T14:56:11Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Automated Support for Unit Test Generation: A Tutorial Book Chapter [21.716667622896193]
  単体テストは、システムの他の部分と独立してテストできる最小のコードセグメントをテストする段階である。 単体テストは通常実行可能なコードとして書かれ、Pythonのpytestのような単体テストフレームワークが提供する形式で書かれる。 本章では,検索に基づく単体テスト生成の概念を紹介する。
  論文  参考訳（メタデータ） (2021-10-26T11:13:40Z)
• Test-Agnostic Long-Tailed Recognition by Test-Time Aggregating Diverse Experts with Self-Supervision [85.07855130048951]
  本研究では,テスト非依存型ロングテール認識(test-agnostic long-tailed recognition)と呼ばれる,より実践的なタスク設定について検討する。 本稿では,多種多様な専門家に異なるテスト分布を扱うように訓練するTADE(Test-time Aggregating Diverse Experts)と呼ばれる新しい手法を提案する。 理論的には,提案手法は未知のテストクラス分布をシミュレートできることを示す。
  論文  参考訳（メタデータ） (2021-07-20T04:10:31Z)
• Genetic Algorithms for Redundancy in Interaction Testing [0.6396288020763143]
  インタラクションテストには一連のテストの設計が含まれており、少数のコンポーネントが連携して動作する場合、障害を検出することが保証される。 これらのテストスイートを構築するための既存のアルゴリズムは通常、ほとんどのテストを生成する1つの"高速"アルゴリズムと、テストスイートを"完全"する別の"より遅い"アルゴリズムを含んでいる。 我々は、これらのアプローチを一般化する遺伝的アルゴリズムを用いて、選択したアルゴリズムの数を増やして冗長性も含み、それを「ステージ」と呼ぶ。
  論文  参考訳（メタデータ） (2020-02-13T10:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。