論文の概要: Systematic Training and Testing for Machine Learning Using Combinatorial Interaction Testing

• arxiv url: http://arxiv.org/abs/2201.12428v1
• Date: Fri, 28 Jan 2022 21:33:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 16:17:54.355903
• Title: Systematic Training and Testing for Machine Learning Using Combinatorial Interaction Testing
• Title（参考訳）: 組合せインタラクションテストを用いた機械学習の系統的トレーニングとテスト
• Authors: Tyler Cody, Erin Lanus, Daniel D. Doyle, Laura Freeman
• Abstract要約: 本稿では,機械学習モデルにおけるテストセットとトレーニングセットの選択と特徴付けのためのカバレッジの体系的利用について述べる。 この論文は、カバレッジに対する事前の批判に対処し、機械学習アプリケーションにおけるカバレッジメトリクスの使用を提唱する反論を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper demonstrates the systematic use of combinatorial coverage for selecting and characterizing test and training sets for machine learning models. The presented work adapts combinatorial interaction testing, which has been successfully leveraged in identifying faults in software testing, to characterize data used in machine learning. The MNIST hand-written digits data is used to demonstrate that combinatorial coverage can be used to select test sets that stress machine learning model performance, to select training sets that lead to robust model performance, and to select data for fine-tuning models to new domains. Thus, the results posit combinatorial coverage as a holistic approach to training and testing for machine learning. In contrast to prior work which has focused on the use of coverage in regard to the internal of neural networks, this paper considers coverage over simple features derived from inputs and outputs. Thus, this paper addresses the case where the supplier of test and training sets for machine learning models does not have intellectual property rights to the models themselves. Finally, the paper addresses prior criticism of combinatorial coverage and provides a rebuttal which advocates the use of coverage metrics in machine learning applications.
• Abstract（参考訳）: 本稿では,機械学習モデルにおけるテストおよびトレーニングセットの選択と特徴付けに,組合せカバレッジの体系的利用を示す。 提案した研究は、機械学習で使用されるデータを特徴付けるために、ソフトウェアテストの欠陥を特定するためにうまく活用されている組合せ相互作用テストに適応する。 mnist手書き桁データを使用して、コンビネートカバレッジが、マシンラーニングモデルのパフォーマンスを強調するテストセットの選択、堅牢なモデルパフォーマンスにつながるトレーニングセットの選択、新しいドメインへの微調整モデルのためのデータの選択に使用できることを実証する。 したがって、結果は機械学習のトレーニングとテストのための総合的なアプローチとして組み合わせカバレッジを実証する。 本稿では、ニューラルネットワークの内部におけるカバレッジの利用に注目した先行研究とは対照的に、入力と出力から得られる単純な特徴のカバレッジについて考察する。 そこで本稿では,機械学習モデルに対するテストおよびトレーニングセットのサプライヤーが,モデル自体に対する知的財産権を持っていない場合について論じる。 最後に、組み合わせカバレッジに対する事前の批判に対処し、機械学習アプリケーションにおけるカバレッジメトリクスの使用を推奨する反論を提供する。

関連論文リスト

• Machine Unlearning for Causal Inference [0.6621714555125157]
  モデルが与えられたユーザに関する情報(マシンアンラーニング)の学習/取得の一部を忘れることが重要である。 本稿では、因果推論のための機械学習の概念、特に確率スコアマッチングと治療効果推定について紹介する。 この研究で使用されるデータセットは、ジョブトレーニングプログラムの有効性を評価するために広く使用されているデータセットであるLalondeデータセットである。
  論文  参考訳（メタデータ） (2023-08-24T17:27:01Z)
• Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
  Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。 モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。 5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T16:28:29Z)
• Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
  オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。 入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。 私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
  論文  参考訳（メタデータ） (2023-03-28T21:02:35Z)
• Active Learning with Combinatorial Coverage [0.0]
  アクティブな学習は、ラベル付けするデータを選択するプロセスを自動化する機械学習の実践的な分野である。 現在の手法はデータラベリングの負担を軽減するのに有効であるが、モデルに強く依存する。 これにより、サンプルデータの新しいモデルへの転送が不可能になり、サンプリングバイアスの問題も発生した。 本稿では,これらの課題を克服するために,カバレッジを活用した能動的学習手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T13:43:23Z)
• ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
  本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。 自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
  論文  参考訳（メタデータ） (2022-07-27T07:46:23Z)
• Methodology to Create Analysis-Naive Holdout Records as well as Train and Test Records for Machine Learning Analyses in Healthcare [0.0]
  ホルトアウトサンプルの目的は、全データセットから分析的かつランダムに選択される研究研究のためのデータを保存することである。 ホールドアウトを作成するための方法論は、ランダム化を考慮し、3方向分割を効率的に行うk倍のクロスバリデーションの修正である。
  論文  参考訳（メタデータ） (2022-05-09T00:51:08Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• A comprehensive solution to retrieval-based chatbot construction [4.807955518532493]
  我々は、未ラベルのチャットログからデプロイされたチャットボットへ読者を連れて行くための、エンドツーエンドのソリューションセットを提示する。 このソリューションセットには、セルフ教師付きデータセットと、チャットログから弱いラベル付きデータセットを作成すること、および、缶詰されたレスポンスの固定リストを選択するための体系的なアプローチが含まれる。 自己教師付きコントラスト学習モデルを使用することで、弱いラベル付きデータセット上でのバイナリクラスとマルチクラス分類モデルのトレーニングに優れることがわかった。
  論文  参考訳（メタデータ） (2021-06-11T02:54:33Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。