論文の概要: AdapBench: Adaptive Early-Stopping and Prioritization for Efficient Microbenchmarking in Cloud-based CI/CD
- arxiv url: http://arxiv.org/abs/2611.01255v1
- Date: Sat, 31 Oct 2026 20:39:32 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:48:36.05691
- Title: AdapBench: Adaptive Early-Stopping and Prioritization for Efficient Microbenchmarking in Cloud-based CI/CD
- Title（参考訳）: AdapBench: クラウドベースのCI/CDにおける効率的なマイクロベンチマークのための適応型アーリーストッピングと優先順位付け
- Abstract要約: AdapBenchは、マイクロベンチマークスイートの実行時間を短縮するオンラインスケジューリングシステムである。
AdapBenchはJavaプロジェクトの総実行時間の42%を節約し、スケジュールのオーバーヘッドは無視できる。
Goプロジェクトでは、AdapBenchは、フル実行の85%を節約しながら、ゼロの偽陽性ですべてのパフォーマンス変更を見つける。
- 参考スコア（独自算出の注目度）: 1.3048920509133808
- License:
- Abstract: Cloud-based software systems frequently release new versions, a fact further accelerated through agentic coding. Each new release, however, brings the risk of performance regressions which can irritate end users, increase infrastructure costs, and increase carbon footprints. Therefore, developers strive to catch such regressions in testing stages, usually through so-called continuous benchmarking. The standard way of doing this is using microbenchmark suites which, however, take notoriously long to execute. Optimizing the execution of microbenchmark suites is, hence, an active field of research. In this paper, we propose AdapBench, an online scheduling system for reducing the execution duration of microbenchmark suites. AdapBench is the first approach which dynamically makes at-runtime decisions for prioritizing the most informative benchmarks and early-stopping each one once enough evidence has accumulated to accept or reject a performance change hypothesis. We evaluate our prototype on eight popular Java projects, commonly used by microbenchmark research, and four additional Go projects. At matched 90% change detections and false-positive rate compared to an optimistic uniform run, AdapBench saves 42% of the aggregate execution duration on the Java projects, with negligible scheduling overhead (below 0.001% of the total runtime). On the Go projects, AdapBench finds every performance change with zero false positives while saving 85% of the full run.
- Abstract（参考訳）: クラウドベースのソフトウェアシステムは、しばしば新バージョンをリリースするが、エージェントコーディングによってさらに加速される。
しかし、新しいリリースは、エンドユーザーを刺激し、インフラコストを増大させ、カーボンフットプリントを増大させるパフォーマンスレグレッションのリスクをもたらす。
したがって、開発者はテスト段階で、通常、いわゆる継続的ベンチマークを通じて、そのようなレグレッションをキャッチしようと努力する。
標準的な方法としては、マイクロベンチマークスイートを使用するが、実行に要する時間が悪名高い。
マイクロベンチマークスイートの実行を最適化することは、研究の活発な分野である。
本稿では,マイクロベンチマークスイートの実行時間を削減するオンラインスケジューリングシステムAdapBenchを提案する。
AdapBenchは、最も情報性の高いベンチマークを優先順位付けし、パフォーマンス変更仮説を受け入れ、拒否するのに十分な証拠を蓄積した各ベンチマークを早期停止するための、実行時の決定を動的に行う最初のアプローチである。
マイクロベンチマーク研究で一般的に使われている8つの人気のあるJavaプロジェクトと、さらに4つのGoプロジェクトでプロトタイプを評価します。
楽観的な均一実行と比較して90%の変更検出と偽陽性率で、AdapBenchはJavaプロジェクトの総実行時間の42%を節約し、スケジュールオーバーヘッドは無視できる(全体のランタイムの0.001%以下)。
Goプロジェクトでは、AdapBenchは、フル実行の85%を節約しながら、ゼロの偽陽性ですべてのパフォーマンス変更を見つける。
関連論文リスト
- TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - cua-speedrun: Standardized Benchmarking of the Speed of Computer-Use Agents [76.52915291143013]
コンピュータ利用エージェント(CUA)は、最近、多くの標準ベンチマークで人的パフォーマンスを上回っている。
Cua-speedrunは標準化されたインフラストラクチャとタスクセットを導入した。
我々は、推論、エージェントハーネス、環境遅延がパフォーマンス、速度、コストにどのように影響するかを評価する。
論文 参考訳（メタデータ） (2026-09-30T17:48:06Z) - JETO-Bench: A Reproducible Benchmark for Execution Time Improvement Patches in Java [7.061620815315831]
JETO-Mineは、実世界のJavaプロジェクトで、再現可能なETIP(Executive Time Improvement patch)ベンチマークを作成するための、最初の再利用可能なツールです。
JETO-Mineには3フェーズのパイプラインがある。GitHubリポジトリをクロールし、ユーザ定義のフィルタを使用してETIPを識別する静的分析フェーズだ。
JETO-Mineを使ってJETO-Benchを構築します。これは、オープンソースのJavaリポジトリ174から収集された660個のETIPと91個の手動で検証された実行可能ETIPのベンチマークです。
論文 参考訳（メタデータ） (2026-06-30T14:54:25Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - Seer Self-Consistency: Advance Budget Estimation for Adaptive Test-Time Scaling [55.026048429595384]
テストタイムスケーリングは、Large Language Models (LLMs) の推論性能を向上させるが、かなりの計算コストを発生させる。
トークン効率とレイテンシを同時に向上する動的自己整合性フレームワークであるSeerSCを提案する。
論文 参考訳（メタデータ） (2025-11-12T13:57:43Z) - Nexus: Execution-Grounded Multi-Agent Test Oracle Synthesis [57.40527331817245]
非回帰テストにおけるテストオラクル生成は、ソフトウェア工学における長年の課題である。
この課題に対処するための新しいマルチエージェントフレームワークであるNexusを紹介します。
論文 参考訳（メタデータ） (2025-10-30T12:20:25Z) - Efficiently Ranking Software Variants with Minimal Benchmarks [7.542554018860094]
テストスイート最適化手法を用いて、安定したランキングを維持しながらベンチマークを削減できる新しい手法を提案する。
つまり、すべてのテストで変種と同じランキングを維持しながら、ベンチマークからインスタンスを削除します。
BISection Smpling(BISection Smpling, BISS)は, 最重要試験を戦略的に保持し, 新規な分別・対数法を適用して, 関連試験を効率的にサンプリングする手法である。
論文 参考訳（メタデータ） (2025-09-08T14:11:35Z) - A Stitch in Time Saves Nine: Proactive Self-Refinement for Language Models [53.31664844941449]
ProActive Self-Refinement (PASR)は、大規模言語モデル(LLM)を改善する新しい方法である。
反応全体を再生する手法とは異なり、PASRはモデルの内部状態と進化コンテキストに基づいて、いつ、どのように精製するかを積極的に決定する。
PASRの有効性を評価するために,多種多様な10のタスクについて広範囲に実験を行った。
論文 参考訳（メタデータ） (2025-08-18T13:07:21Z) - $μ$OpTime: Statically Reducing the Execution Time of Microbenchmark Suites Using Stability Metrics [0.391985484065646]
$mu$OpTimeは、microbenchmarkスイートの実行時間を短縮するための静的なアプローチである。
CI/CDパイプラインのパフォーマンスレグレッションを確実に検出するために、$mu$OpTimeを使用することができる。
論文 参考訳（メタデータ） (2025-01-22T13:38:49Z) - Accelerating Continuous Integration with Parallel Batch Testing [0.0]
大規模な継続的インテグレーションはソフトウェア開発に不可欠です。
テスト選択や優先順位付けなどの様々なテクニックは、コスト削減を目的としている。
本研究では,テストマシン数を調整することで並列化の効果を評価する。
我々はDynamic TestCaseを提案し、新しいビルドが完全なテスト実行の前にバッチに結合できるようにする。
論文 参考訳（メタデータ） (2023-08-25T01:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。