論文の概要: Accelerating Continuous Integration with Parallel Batch Testing

• arxiv url: http://arxiv.org/abs/2308.13129v1
• Date: Fri, 25 Aug 2023 01:09:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 12:34:54.755411
• Title: Accelerating Continuous Integration with Parallel Batch Testing
• Title（参考訳）: 並列バッチテストによる継続的インテグレーションの促進
• Authors: Emad Fallahzadeh (1), Amir Hossein Bavand (1), and Peter C. Rigby (1) ((1) Concordia University, Montreal, Quebec, Canada)
• Abstract要約: 大規模な継続的インテグレーションはソフトウェア開発に不可欠です。 テスト選択や優先順位付けなどの様々なテクニックは、コスト削減を目的としている。 本研究では,テストマシン数を調整することで並列化の効果を評価する。 我々はDynamic TestCaseを提案し、新しいビルドが完全なテスト実行の前にバッチに結合できるようにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous integration at scale is costly but essential to software development. Various test optimization techniques including test selection and prioritization aim to reduce the cost. Test batching is an effective alternative, but overlooked technique. This study evaluates parallelization's effect by adjusting machine count for test batching and introduces two novel approaches. We establish TestAll as a baseline to study the impact of parallelism and machine count on feedback time. We re-evaluate ConstantBatching and introduce DynamicBatching, which adapts batch size based on the remaining changes in the queue. We also propose TestCaseBatching, enabling new builds to join a batch before full test execution, thus speeding up continuous integration. Our evaluations utilize Ericsson's results and 276 million test outcomes from open-source Chrome, assessing feedback time, execution reduction, and providing access to Chrome project scripts and data. The results reveal a non-linear impact of test parallelization on feedback time, as each test delay compounds across the entire test queue. ConstantBatching, with a batch size of 4, utilizes up to 72% fewer machines to maintain the actual average feedback time and provides a constant execution reduction of up to 75%. Similarly, DynamicBatching maintains the actual average feedback time with up to 91% fewer machines and exhibits variable execution reduction of up to 99%. TestCaseBatching holds the line of the actual average feedback time with up to 81% fewer machines and demonstrates variable execution reduction of up to 67%. We recommend practitioners use DynamicBatching and TestCaseBatching to reduce the required testing machines efficiently. Analyzing historical data to find the threshold where adding more machines has minimal impact on feedback time is also crucial for resource-effective testing.
• Abstract（参考訳）: 大規模な継続的インテグレーションはコストがかかるが、ソフトウェア開発には不可欠だ。 テスト選択や優先順位付けなどの様々なテスト最適化手法は、コスト削減を目的としている。 テストバッチは効果的な代替手段ですが、見落としているテクニックです。 本研究では,テストバッチの機械数を調整することで並列化の効果を評価し,新しい2つのアプローチを提案する。 並列性とマシン数の影響がフィードバック時間に与える影響を研究するために、testallをベースラインとして確立する。 我々は、constantbatchingを再評価し、キューの残りの変更に基づいてバッチサイズに適応するdynamicbatchingを導入する。 また、テストの実行が完了する前に新しいビルドがバッチに加わることを可能にするtestcasebatchingも提案しています。 当社の評価では、エリクソンの結果と、オープンソースのchromeによる2億7600万のテスト結果を利用して、フィードバック時間、実行時間を評価し、chromeプロジェクトスクリプトとデータへのアクセスを提供する。 その結果、テストキュー全体にわたって各テストの遅延化合物として、テストの並列化がフィードバック時間に与える影響が明らかになった。 バッチサイズ4のConstantBatchingは、実際の平均フィードバック時間を維持するために、マシンを最大72%削減し、実行時間を最大75%削減する。 同様にDynamicBatchingは、最大91%のマシンで実際の平均フィードバック時間を維持し、最大99%の変数実行削減を示す。 TestCaseBatchingは、最大81%のマシンで実際の平均フィードバックタイムのラインを保持し、最大67%の変数実行削減を示す。 必要なテストマシンを効率的に削減するために、dynamicbatchingとtestcasebatchingを実践者に推奨する。 履歴データを分析して、より多くのマシンがフィードバック時間にほとんど影響を与えないしきい値を見つけることも、リソース効率のテストには不可欠である。

関連論文リスト

• CorrectBench: Automatic Testbench Generation with Functional Self-Correction using LLMs for HDL Design [6.414167153186868]
  機能的自己検証と自己補正を備えた自動テストベンチ生成フレームワークであるCorrectBenchを提案する。 提案手法は, 88.85%の成功率で生成したテストベンチの正当性を検証できる。 作業性能は, 従来よりも62.18%高く, 直接手法のパス比の約5倍である。
  論文  参考訳（メタデータ） (2024-11-13T10:45:19Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Taming Timeout Flakiness: An Empirical Study of SAP HANA [47.29324864511411]
  不安定なテストは回帰テストに悪影響を及ぼします。 テストタイムアウトは、このような不安定なテストの失敗に寄与する要因のひとつです。 テストのフレキネス率は、繰り返しテストの実行回数によって49%から70%の範囲である。
  論文  参考訳（メタデータ） (2024-02-07T20:01:41Z)
• PACE: A Program Analysis Framework for Continuous Performance Prediction [0.0]
  PACEはプログラム分析フレームワークで、保留中のコード更新のパフォーマンスへの影響を継続的にフィードバックする。 コード更新によって機能テストケースの実行時間をマッピングすることで,パフォーマンスのマイクロベンチマークを設計する。 我々の実験は、コード性能の予測において、ニューラル表現されたコードスタイメトリーの特徴において、現在の最先端を75%上回る性能を達成した。
  論文  参考訳（メタデータ） (2023-12-01T20:43:34Z)
• Align Your Prompts: Test-Time Prompting with Distribution Alignment for Zero-Shot Generalization [64.62570402941387]
  テスト領域のギャップを埋めるために、機能分散シフトを最小限にして、テスト時にマルチモーダルプロンプトを適用するために、単一のテストサンプルを使用します。 提案手法は,既存のプロンプト学習技術以上のゼロショットトップ1精度を向上し,ベースラインのMaPLeよりも3.08%向上した。
  論文  参考訳（メタデータ） (2023-11-02T17:59:32Z)
• Towards Automatic Generation of Amplified Regression Test Oracles [44.45138073080198]
  回帰テストオラクルを増幅するためのテストオラクル導出手法を提案する。 このアプローチはテスト実行中にオブジェクトの状態を監視し、以前のバージョンと比較して、SUTの意図した振る舞いに関連する変更を検出する。
  論文  参考訳（メタデータ） (2023-07-28T12:38:44Z)
• Sequential Kernelized Independence Testing [101.22966794822084]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Test-time Batch Normalization [61.292862024903584]
  ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
  論文  参考訳（メタデータ） (2022-05-20T14:33:39Z)
• SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning [62.997667081978825]
  従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。 自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。 この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
  論文  参考訳（メタデータ） (2022-03-10T00:47:46Z)
• Automated User Experience Testing through Multi-Dimensional Performance Impact Analysis [0.0]
  新規な自動ユーザエクスペリエンステスト手法を提案する。 コードの変更が時間単位とシステムテストにどう影響するかを学び、この情報に基づいてユーザエクスペリエンスの変更を推定します。 当社のオープンソースツールは,ランダムフォレストレグレッサで絶対誤差率3.7%を達成した。
  論文  参考訳（メタデータ） (2021-04-08T01:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。