論文の概要: Practical Pipeline-Aware Regression Test Optimization for Continuous Integration

• arxiv url: http://arxiv.org/abs/2501.11550v1
• Date: Mon, 20 Jan 2025 15:39:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:24:36.941373
• Title: Practical Pipeline-Aware Regression Test Optimization for Continuous Integration
• Title（参考訳）: 継続的統合のための実践的パイプライン対応回帰テスト最適化
• Authors: Daniel Schwendner, Maximilian Jungwirth, Martin Gruber, Martin Knoche, Daniel Merget, Gordon Fraser,
• Abstract要約: 継続的インテグレーション(CI)は、一貫したコード品質を保証するために一般的に適用されます。 開発者は一般的に、複数のパイプラインにまたがってテスト実行を分割し、サブミット前の段階で小さくて速いテストを実行し、ポストサブミット後のパイプラインで長時間実行し、不安定なテストを実行する。 言語に依存しない特徴に基づいて訓練された強化学習モデルを用いて,軽量かつパイプライン対応の回帰テスト最適化手法を開発した。
• 参考スコア（独自算出の注目度）: 9.079940595000087
• License:
• Abstract: Massive, multi-language, monolithic repositories form the backbone of many modern, complex software systems. To ensure consistent code quality while still allowing fast development cycles, Continuous Integration (CI) is commonly applied. However, operating CI at such scale not only leads to a single point of failure for many developers, but also requires computational resources that may reach feasibility limits and cause long feedback latencies. To address these issues, developers commonly split test executions across multiple pipelines, running small and fast tests in pre-submit stages while executing long-running and flaky tests in post-submit pipelines. Given the long runtimes of many pipelines and the substantial proportion of passing test executions (98% in our pre-submit pipelines), there not only a need but also potential for further improvements by prioritizing and selecting tests. However, many previously proposed regression optimization techniques are unfit for an industrial context, because they (1) rely on complex and difficult-to-obtain features like per-test code coverage that are not feasible in large, multi-language environments, (2) do not automatically adapt to rapidly changing systems where new tests are continuously added or modified, and (3) are not designed to distinguish the different objectives of pre- and post-submit pipelines: While pre-submit testing should prioritize failing tests, post-submit pipelines should prioritize tests that indicate non-flaky changes by transitioning from pass to fail outcomes or vice versa. To overcome these issues, we developed a lightweight and pipeline-aware regression test optimization approach that employs Reinforcement Learning models trained on language-agnostic features. We evaluated our approach on a large industry dataset collected over a span of 20 weeks of CI test executions. When predicting...
• Abstract（参考訳）: 大規模で多言語でモノリシックなリポジトリは、多くの現代的な複雑なソフトウェアシステムのバックボーンを形成します。 開発サイクルの速さを保ちながら、一貫性のあるコード品質を確保するために、継続的インテグレーション(CI)が一般的に適用されます。 しかし、そのような規模でCIを運用することは、多くの開発者にとって単一障害点につながるだけでなく、実現可能な限界に達し、長いフィードバックレイテンシを引き起こす可能性のある計算リソースも必要である。 これらの問題に対処するため、開発者は一般的に、複数のパイプラインにまたがってテスト実行を分割し、サブミッション前の段階で小規模で高速なテストを実行し、ポストミッション後のパイプラインで長時間実行され、不安定なテストを実行する。 多くのパイプラインの長いランタイムとパステスト実行のかなりの割合(98%)を考えると、必要だけでなく、テストの優先順位付けと選択によるさらなる改善の可能性を秘めています。 しかし、これまで提案されていた回帰最適化技術の多くは、(1)大規模で多言語環境では実現不可能なテストごとのコードカバレッジのような複雑で難易度の高い機能に依存し、(2)新しいテストが継続的に追加または修正されるような急激な変更システムに自動的に適応せず、(3)プリミッションテストは失敗するテストを優先順位付けする必要があるが、ポストサブミッションパイプラインは、失敗から失敗へ移行することによる非フレキシブルな変更を示すテストを優先順位付けする必要がある。 これらの問題を克服するために、言語に依存しない機能に基づいて訓練された強化学習モデルを利用する軽量でパイプライン対応の回帰テスト最適化アプローチを開発した。 私たちは、CIテスト実行の20週間にわたって収集された大規模な産業データセットに対するアプローチを評価しました。 予測すると...。

関連論文リスト

• Fast-Slow Test-Time Adaptation for Online Vision-and-Language Navigation [67.18144414660681]
  オンラインビジョン・アンド・ランゲージナビゲーション(VLN)のためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。 提案手法は,4つのベンチマークにおいて顕著な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-11-22T07:47:39Z)
• FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization Bugs [92.47146416628965]
  FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。 我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。 テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
  論文  参考訳（メタデータ） (2023-06-28T13:00:17Z)
• AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
  ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。 この問題に対処するためにテスト時適応(TTA)手法が提案されている。 本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
  論文  参考訳（メタデータ） (2023-04-25T04:23:13Z)
• Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond [52.656743602538825]
  微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:34:13Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• DeepOrder: Deep Learning for Test Case Prioritization in Continuous Integration Testing [6.767885381740952]
  この研究は、回帰機械学習に基づいて動作するディープラーニングベースのモデルであるDeepOrderを紹介している。 DeepOrderは、テスト実行の履歴記録に基づいて、以前のテストサイクルの任意の数からテストケースをランク付けする。 実験により, 深部ニューラルネットワークは, 単純な回帰モデルとして, 連続的な統合テストにおいて, テストケースの優先順位付けに効率的に利用できることを示した。
  論文  参考訳（メタデータ） (2021-10-14T15:10:38Z)
• Reinforcement Learning for Test Case Prioritization [0.24366811507669126]
  本稿では,強化学習をテスト戦略に応用する最近の研究について述べる。 我々は、金融機関から抽出された新たなデータに基づいて、新しい環境に適応する能力をテストする。 また,記憶表現のモデルとして決定木(DT)近似器を用いた影響についても検討した。
  論文  参考訳（メタデータ） (2020-12-18T11:08:20Z)
• Neural Network Embeddings for Test Case Prioritization [0.24366811507669126]
  NNE-TCP(Neural Network Embeeding for Test Case Prioritization)という新しいツールを開発しました。 NNE-TCPは、テスト状態遷移時にどのファイルが修正されたかを分析し、これらのファイルとテストの関係を多次元ベクトルにマッピングすることで学習する。 我々は、修正されたファイルとテストの間の接続が他の従来の方法と比較して適切で競争力があることを初めて示す。
  論文  参考訳（メタデータ） (2020-12-18T10:33:28Z)
• MLCask: Efficient Management of Component Evolution in Collaborative Data Analytics Pipelines [29.999324319722508]
  マシンラーニングパイプラインのデプロイ時に発生する2つの大きな課題に対処し、エンドツーエンド分析システムMLCaskのバージョニング設計で対処する。 我々は,再利用可能な履歴記録とパイプライン互換性情報を用いて,パイプライン探索木を刈り取ることで,メートル法駆動のマージ操作を定義し,高速化する。 MLCaskの有効性は、いくつかの実世界の展開事例に関する広範な研究を通じて評価される。
  論文  参考訳（メタデータ） (2020-10-17T13:34:48Z)
• AVATAR -- Machine Learning Pipeline Evaluation Using Surrogate Model [10.83607599315401]
  本稿では,サロゲートモデル(AVATAR)を用いたMLパイプラインの有効性評価手法を提案する。 実験の結果, AVATARは, 従来の評価手法と比較して, 複雑なパイプラインの評価においてより効率的であることがわかった。
  論文  参考訳（メタデータ） (2020-01-30T02:53:29Z)
• Rethinking Learning-based Demosaicing, Denoising, and Super-Resolution Pipeline [86.01209981642005]
  本研究では,パイプラインが学習ベースDN,DM,SRの混合問題に与える影響について,逐次解とジョイント解の両方で検討する。 我々の提案するパイプラインDN$to$SR$to$DMは、他のシーケンシャルパイプラインよりも一貫してパフォーマンスが向上する。 混合問題に対する最先端の性能を実現するために, エンドツーエンドのトリニティ・カメラ・エンハンスメント・ネットワーク(TENet)を提案する。
  論文  参考訳（メタデータ） (2019-05-07T13:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。