論文の概要: Towards an Optimized Benchmarking Platform for CI/CD Pipelines

• arxiv url: http://arxiv.org/abs/2510.18640v1
• Date: Tue, 21 Oct 2025 13:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.636364
• Title: Towards an Optimized Benchmarking Platform for CI/CD Pipelines
• Title（参考訳）: CI/CDパイプラインのための最適化ベンチマークプラットフォームを目指して
• Authors: Nils Japke, Sebastian Koch, Helmut Lukasczyk, David Bermbach,
• Abstract要約: パフォーマンスのレグレッションを特定し、サービスレベルの合意を維持するためには、ベンチマークが不可欠です。 パフォーマンスベンチマークはリソース集約的で時間を要する。 現在、これらの最適化を現実の継続的インテグレーション/継続的デプロイメントパイプラインにシームレスに統合する実用的なシステムは存在しない。
• 参考スコア（独自算出の注目度）: 1.3999481573773072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance regressions in large-scale software systems can lead to substantial resource inefficiencies, making their early detection critical. Frequent benchmarking is essential for identifying these regressions and maintaining service-level agreements (SLAs). Performance benchmarks, however, are resource-intensive and time-consuming, which is a major challenge for integration into Continuous Integration / Continuous Deployment (CI/CD) pipelines. Although numerous benchmark optimization techniques have been proposed to accelerate benchmark execution, there is currently no practical system that integrates these optimizations seamlessly into real-world CI/CD pipelines. In this vision paper, we argue that the field of benchmark optimization remains under-explored in key areas that hinder its broader adoption. We identify three central challenges to enabling frequent and efficient benchmarking: (a) the composability of benchmark optimization strategies, (b) automated evaluation of benchmarking results, and (c) the usability and complexity of applying these strategies as part of CI/CD systems in practice. We also introduce a conceptual cloud-based benchmarking framework handling these challenges transparently. By presenting these open problems, we aim to stimulate research toward making performance regression detection in CI/CD systems more practical and effective.
• Abstract（参考訳）: 大規模ソフトウェアシステムのパフォーマンスの回帰は、かなりのリソースの非効率をもたらす可能性があるため、早期発見が重要となる。 これらの回帰を識別し、サービスレベルの合意(SLA)を維持するためには、頻繁なベンチマークが不可欠です。 しかし、パフォーマンスベンチマークはリソース集約的で時間を要するため、継続的インテグレーション/継続的デプロイメント(CI/CD)パイプラインとの統合には大きな課題があります。 ベンチマーク実行を高速化するために多くのベンチマーク最適化技術が提案されているが、これらの最適化を現実のCI/CDパイプラインにシームレスに統合する実用的なシステムは今のところ存在しない。 このビジョンペーパーでは、ベンチマーク最適化の分野は、広く採用されるのを妨げる重要な領域において、まだ探索されていないと論じている。 頻繁で効率的なベンチマークを可能にするための3つの中心的な課題を特定します。 a) ベンチマーク最適化戦略の構成可能性 (b)ベンチマーク結果の自動評価、及び c) CI/CDシステムの一部としてこれらの戦略を適用することのユーザビリティと複雑さ。 また、これらの課題を透過的に処理する概念的なクラウドベースのベンチマークフレームワークも導入しています。 このようなオープンな問題を提示することにより,CI/CDシステムにおける性能回帰検出をより実用的で効果的に行う研究の促進を目指す。

関連論文リスト

• XQC: Well-conditioned Optimization Accelerates Deep Reinforcement Learning [26.063477716451512]
  我々は,ソフトアクター・クリティックをベースとした,よく動機付けられた,サンプル効率の高いディープアクター・クリティックアルゴリズムであるXQCを紹介する。 55のプロプリセプションと15の視覚に基づく連続制御タスクにまたがる最先端のサンプル効率を実現する。
  論文  参考訳（メタデータ） (2025-09-29T17:58:53Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Benchmarking PtO and PnO Methods in the Predictive Combinatorial Optimization Regime [59.27851754647913]
  予測最適化(英: Predictive optimization)は、エネルギーコストを意識したスケジューリングや広告予算配分など、多くの現実世界のアプリケーションの正確なモデリングである。 我々は,広告のための新しい産業データセットを含む8つの問題に対して,既存のPtO/PnOメソッド11をベンチマークするモジュラーフレームワークを開発した。 本研究は,8ベンチマーク中7ベンチマークにおいて,PnOアプローチがPtOよりも優れていることを示すが,PnOの設計選択に銀の弾丸は見つからない。
  論文  参考訳（メタデータ） (2023-11-13T13:19:34Z)
• DeLag: Using Multi-Objective Optimization to Enhance the Detection of Latency Degradation Patterns in Service-based Systems [0.76146285961466]
  DeLagは,サービスベースシステムの性能問題を診断するための,新しい自動検索ベースのアプローチである。 DeLagは、精度、リコール、異種性を最適化しながら、複数のレイテンシパターンを同時に検索する。
  論文  参考訳（メタデータ） (2021-10-21T13:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。