論文の概要: Revisiting Machine Learning based Test Case Prioritization for Continuous Integration

• arxiv url: http://arxiv.org/abs/2311.13413v1
• Date: Wed, 22 Nov 2023 14:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 14:51:08.069800
• Title: Revisiting Machine Learning based Test Case Prioritization for Continuous Integration
• Title（参考訳）: 継続的統合のための機械学習に基づくテストケース優先順位付けの再検討
• Authors: Yifan Zhao, Dan Hao, Lu Zhang
• Abstract要約: 機械学習ベースの(MLベースの)テストケース優先順位付け技術が、同じ実験環境下でどのように機能するかは不明だ。 本研究では,11名のオープンソース被験者を対象に,11名の代表的MLベースのCI優先化手法の性能について検討した。 我々はMLベースの手法の有効性を高めるためにいくつかの実用的な提案を行う。
• 参考スコア（独自算出の注目度）: 14.969146789178211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To alleviate the cost of regression testing in continuous integration (CI), a large number of machine learning-based (ML-based) test case prioritization techniques have been proposed. However, it is yet unknown how they perform under the same experimental setup, because they are evaluated on different datasets with different metrics. To bridge this gap, we conduct the first comprehensive study on these ML-based techniques in this paper. We investigate the performance of 11 representative ML-based prioritization techniques for CI on 11 open-source subjects and obtain a series of findings. For example, the performance of the techniques changes across CI cycles, mainly resulting from the changing amount of training data, instead of code evolution and test removal/addition. Based on the findings, we give some actionable suggestions on enhancing the effectiveness of ML-based techniques, e.g., pretraining a prioritization technique with cross-subject data to get it thoroughly trained and then finetuning it with within-subject data dramatically improves its performance. In particular, the pretrained MART achieves state-of-the-art performance, producing the optimal sequence on 80% subjects, while the existing best technique, the original MART, only produces the optimal sequence on 50% subjects.
• Abstract（参考訳）: 継続的インテグレーション(CI)における回帰テストのコストを軽減するため、機械学習ベースの(MLベースの)テストケース優先順位付け技術が多数提案されている。 しかし、異なるメトリクスを持つ異なるデータセットで評価されるため、同じ実験的な設定でどのように実行されるのかは不明だ。 このギャップを埋めるために,本稿では,これらのMLに基づく手法の総合的研究を行う。 本研究では,11名のオープンソース被験者を対象に,11名の代表的MLベースのCI優先化手法の性能について検討し,一連の知見を得た。 例えば、CIサイクルを通じてテクニックのパフォーマンスが変わり、主にコードの進化やテストの削除/追加ではなく、トレーニングデータの量の変化による。 本研究は,MLに基づく手法の有効性を高めるための実用的な提案である。例えば,クロスオブジェクトデータを用いた優先順位付け手法を事前学習して,徹底的にトレーニングし,イントラオブジェクトデータで微調整することで,その性能が劇的に向上する。 特に、事前訓練されたMARTは最先端のパフォーマンスを達成し、80%の被験者に対して最適なシーケンスを生成する一方、既存の最良の技術であるMARTは50%の被験者に対してのみ最適なシーケンスを生成する。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Impacts of Data Preprocessing and Hyperparameter Optimization on the Performance of Machine Learning Models Applied to Intrusion Detection Systems [0.8388591755871736]
  侵入検知システム(IDS)は継続的に改善されている。 その多くは、脅威を特定するために機械学習(ML)技術を採用している。 本稿では,この研究ギャップを埋める研究について述べる。
  論文  参考訳（メタデータ） (2024-07-15T14:30:25Z)
• Leveraging Large Language Models for Enhanced NLP Task Performance through Knowledge Distillation and Optimized Training Strategies [0.8704964543257245]
  本研究は, BERTモデルの性能向上を図るため, GPT-4の能力を活用した3段階学習戦略について検討する。 LLM アノテーションと LLM アノテーションを混合したデータを用いて BERT を訓練し,従来の手法に対する LLM アノテーションの有効性を分析した。 以上の結果から,蒸留とオリジナルデータの戦略的混合がBERTのNER能力を著しく高めていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-14T16:10:45Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Benchmark of Data Preprocessing Methods for Imbalanced Classification [0.0]
  深刻な階級不均衡は、サイバーセキュリティにおける機械学習を難しくする主要な条件の1つだ。 本稿では,6つのサイバーセキュリティデータセットに対する16の事前処理手法のベンチマークと,他のドメインからの17の公開不均衡データセットについて述べる。
  論文  参考訳（メタデータ） (2023-03-06T13:12:43Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Deep Active Learning with Augmentation-based Consistency Estimation [23.492616938184092]
  本稿では,データ拡張に基づく手法をアクティブな学習シナリオに適用することにより,一般化能力を向上させる手法を提案する。 データの増大に基づく正規化損失については,カットアウト(co)とカットミックス(cm)の戦略を定量的指標として再定義した。 強化型正規化器は,能動学習の訓練段階における性能向上につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-11-05T05:22:58Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。