論文の概要: When to Use Which? Benchmarking Optimisers for Configurable Systems under Varying Budgets
- arxiv url: http://arxiv.org/abs/2607.16476v1
- Date: Fri, 17 Jul 2026 19:48:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.156887
- Title: When to Use Which? Benchmarking Optimisers for Configurable Systems under Varying Budgets
- Title（参考訳）: どれをいつ使うか? 可変予算下における構成可能なシステムのためのベンチマークオプティマイザ
- Abstract要約: 予算レベルを考えると、SE実践者にとって最適な選択肢は何でしょう?
予算レベルの異なる22システムに対して,確立された8オプティマイザを系統的に評価した。
1つのオプティマイザであるFLASHは、予算に関わらず、ほとんどのシステムで一貫して機能する。
- 参考スコア（独自算出の注目度）: 13.971439283271152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software configuration tuning is crucial for optimising system performance, and various optimisers have emerged over the last decade. Yet, the time required during the tuning process may vary across systems. In some systems (e.g., PostgreSQL), it may take a few minutes to measure a configuration, whereas in some others (e.g., MariaDB), it can take several hours. Moreover, even within the same system, users may have varying budgets and preferred settings. This naturally raises a question -- Given a budget level, which optimiser is the best choice for SE practitioners? This matters because optimisers usually have their own ``comfort zone'' and may perform very differently under distinct budgets. In this paper, we aim to answer this question. We systematically evaluate eight well-established optimisers across 22 configurable systems under varying budget levels. We find that, unsurprisingly, model-based optimisers (e.g., SMAC) are well-suited under tight budgets, and model-free optimisers (e.g., GAs) become superior with more generous budgets. However, interestingly, there is one optimiser, FLASH, that performs consistently well on most systems regardless of budgets. We lastly investigate the reasons behind this phenomenon and find that many systems possess good local optima (with large basins of attraction), allowing greedy optimisers (e.g., FLASH) to achieve strong performance. Source code, data, and supplementary materials of this work are available at https://anonymous.4open.science/r/Config-W2W-98B2.
- Abstract（参考訳）: ソフトウェア構成チューニングはシステムパフォーマンスの最適化に不可欠であり、過去10年間に様々なオプティマイザが出現してきた。
しかし、チューニングプロセスに必要な時間はシステムによって異なります。
一部のシステム(PostgreSQLなど)では、構成を測定するのに数分かかる場合もありますが、他のシステム(MariaDBなど)では、数時間かかる場合もあります。
さらに、同じシステム内であっても、ユーザーは様々な予算と好みの設定を持っているかもしれない。
予算レベルを考えると、SE実践者にとって最適な選択肢は何だろうか?
これは、オプティマイザが通常、独自の「快適ゾーン」を持ち、異なる予算の下で非常に異なるパフォーマンスを行う可能性があるためである。
本稿では,この問題に答えることを目的としている。
各種予算レベルにおいて,構成可能な22のシステムに対して,確立された8つのオプティマイザを体系的に評価した。
当然ながら、モデルベースオプティマイザ(例えば、SMAC)は、厳格な予算の下では適しており、モデルフリーオプティマイザ(例えば、GA)は、より寛大な予算で優れている。
しかし興味深いことに、予算に関わらずほとんどのシステムで一貫して機能するFLASHというオプティマイザがある。
最後に,この現象の背景となる要因を考察し,多くの系が良好な局所最適性(アトラクションの流域が広い)を有しており,強靭なオプティマイザ(例えばFLASH)が高い性能を達成できることを示す。
ソースコード、データ、補足資料はhttps://anonymous.4open.science/r/Config-W2W-98B2で入手できる。
関連論文リスト
- Less Is More: Tuning Configurable Systems with Imperfect Fidelity [12.914827714998056]
コンフィグレーションチューニングは、非常に優れた予算利用で大幅に改善できます。
MFTuneは、104ドル以上の不完全性設定を積極的に探索するチューナーである。
実験の結果、MFTuneは83.33ドル%のケースで、最大で19.34%の改善がある。
論文 参考訳（メタデータ） (2026-08-01T16:42:51Z) - Which Optimizer, At What Budget? A Tournament of Optimizers for Search-Based SE [4.282746516699565]
最新のソフトウェアの設定とチューニングは避けられず、高価で、エラーを起こしやすい。
標準応答は自動最適化であるが、利用可能な最適化の数は増え続けている。
論文 参考訳（メタデータ） (2026-07-13T15:33:52Z) - Learn2Splat: Extending the Horizon of Learned 3DGS Optimization [53.913063313338874]
補助機構を使わずに地平線上における劣化を回避できる3DGSの学習手法を提案する。
その結果、長い地平線上で安定しながら、新しいビュークオリティを向上し、ゼロショットの一般化により、見当たらないリコンストラクション設定を実現した。
論文 参考訳（メタデータ） (2026-05-15T09:21:29Z) - Budget-aware Auto Optimizer Configurator [15.23698901433138]
本稿では,各ブロックに適切な構成を割り当てることにより,メモリコストの低減を図るため,BAOC(Budget-Aware Configurator)を提案する。
次に、メモリと時間予算の総リスクを最小限に抑えるために、制限された割り当て問題を解決し、ブロック毎に予算可能な構成を選択する。
論文 参考訳（メタデータ） (2026-05-06T10:02:31Z) - Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。
$SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。
評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2024-10-22T16:04:03Z) - A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。
我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
論文 参考訳（メタデータ） (2023-11-24T18:27:26Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳（メタデータ） (2023-07-21T17:00:06Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳（メタデータ） (2022-11-17T18:39:07Z) - Selecting the Best Optimizing System [13.824919043143455]
最適最適化システム(SBOS)の問題を定式化し,それらの問題に対する解決策を提供する。
SBOS問題は、最適化された最適な選択決定の下で、期待されたパフォーマンスに基づいて異なるシステムを比較する。
我々は,適応的にシステムを選択するアルゴリズムを設計し,ノイズの多いシステムの性能を評価する決定を下す。
論文 参考訳（メタデータ） (2022-01-09T18:26:40Z) - Multi-Objectivizing Software Configuration Tuning (for a single
performance concern) [7.285442358509729]
補助的な性能目標を考慮したメタ目的化モデル(MMO)を提案する。
我々のモデルは,局所最適性を克服する上で,最先端の単目的モデルよりも統計的に有効である。
論文 参考訳（メタデータ） (2021-05-31T03:03:53Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。