論文の概要: On the Assessment of Benchmark Suites for Algorithm Comparison
- arxiv url: http://arxiv.org/abs/2104.07381v1
- Date: Thu, 15 Apr 2021 11:20:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 18:24:49.583638
- Title: On the Assessment of Benchmark Suites for Algorithm Comparison
- Title（参考訳）: アルゴリズム比較のためのベンチマークスイートの評価について
- Authors: David Issa Mattos, Lucas Ruud, Jan Bosch, Helena Holmstr\"om Olsson
- Abstract要約: BBOBスイートのほとんどのベンチマーク関数は、高い難易度(最適化アルゴリズムと比較)と低い差別性を有することを示す。
我々は、ベンチマークスイートの設計を改善することを含む、ベンチマークにおけるIRTの潜在的な使用について論じる。
- 参考スコア（独自算出の注目度）: 7.501426386641256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benchmark suites, i.e. a collection of benchmark functions, are widely used
in the comparison of black-box optimization algorithms. Over the years,
research has identified many desired qualities for benchmark suites, such as
diverse topology, different difficulties, scalability, representativeness of
real-world problems among others. However, while the topology characteristics
have been subjected to previous studies, there is no study that has
statistically evaluated the difficulty level of benchmark functions, how well
they discriminate optimization algorithms and how suitable is a benchmark suite
for algorithm comparison. In this paper, we propose the use of an item response
theory (IRT) model, the Bayesian two-parameter logistic model for multiple
attempts, to statistically evaluate these aspects with respect to the empirical
success rate of algorithms. With this model, we can assess the difficulty level
of each benchmark, how well they discriminate different algorithms, the ability
score of an algorithm, and how much information the benchmark suite adds in the
estimation of the ability scores. We demonstrate the use of this model in two
well-known benchmark suites, the Black-Box Optimization Benchmark (BBOB) for
continuous optimization and the Pseudo Boolean Optimization (PBO) for discrete
optimization. We found that most benchmark functions of BBOB suite have high
difficulty levels (compared to the optimization algorithms) and low
discrimination. For the PBO, most functions have good discrimination parameters
but are often considered too easy. We discuss potential uses of IRT in
benchmarking, including its use to improve the design of benchmark suites, to
measure multiple aspects of the algorithms, and to design adaptive suites.
- Abstract（参考訳）: ベンチマークスイート(ベンチマーク関数の集合)はブラックボックス最適化アルゴリズムの比較で広く使われている。
長年にわたり、様々なトポロジー、異なる困難、スケーラビリティ、現実世界の問題の代表性など、ベンチマークスイートの望ましい品質が研究によって明らかにされてきた。
しかし, このトポロジ特性は従来研究の対象とされてきたが, ベンチマーク関数の難易度, 最適化アルゴリズムの判別精度, アルゴリズム比較のためのベンチマークスイートがどの程度適しているかを統計的に評価した研究はない。
本稿では,複数の試行において,アイテム応答理論(IRT)モデルであるベイジアン2パラメータロジスティックモデルを用いて,アルゴリズムの実証的成功率に関して,これらの側面を統計的に評価する。
このモデルにより、各ベンチマークの難易度、異なるアルゴリズムの識別精度、アルゴリズムの能力スコア、ベンチマークスイートが能力スコアの推定にどれだけの情報を追加するかを評価することができる。
我々はこのモデルを2つのよく知られたベンチマークスイート、連続最適化のための Black-Box Optimization Benchmark (BBOB) と離散最適化のための Pseudo Boolean Optimization (PBO) で実証する。
BBOBスイートのベンチマーク関数の多くは、高い難易度(最適化アルゴリズムと比較)と低い差別性を有することがわかった。
PBOの場合、ほとんどの関数は良質な識別パラメータを持つが、しばしば簡単すぎると考えられる。
ベンチマークにおけるIRTの可能性について論じ、ベンチマークスイートの設計の改善、アルゴリズムの複数の側面の測定、適応スイートの設計などについて論じる。
関連論文リスト
- Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。
本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。
合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文 参考訳（メタデータ） (2024-11-07T17:05:31Z) - Towards Robust Benchmarking of Quantum Optimization Algorithms [3.9456729020535013]
既存のベンチマークフレームワークにおける重要な問題は、それぞれが古典的なアプローチで最高の量子を最適化するのと同じ努力をしていないことである。
本稿では,公正なベンチマークに向けての普遍的な手順を包括的にまとめたガイドラインについて述べる。
論文 参考訳（メタデータ） (2024-05-13T10:35:23Z) - Prasatul Matrix: A Direct Comparison Approach for Analyzing Evolutionary
Optimization Algorithms [2.1320960069210475]
進化最適化アルゴリズムの性能を解析するために,直接比較手法を提案する。
アルゴリズムの性能を評価するために、プラサトゥール行列に基づいて5つの異なる性能尺度を設計する。
論文 参考訳（メタデータ） (2022-12-01T17:21:44Z) - Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。
基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。
我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
論文 参考訳（メタデータ） (2022-09-27T17:51:31Z) - Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。
両レベル最適化のための2つの新しいアルゴリズムを提案する。
両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
論文 参考訳（メタデータ） (2021-06-08T21:05:30Z) - EXPObench: Benchmarking Surrogate-based Optimisation Algorithms on
Expensive Black-box Functions [4.8980686156238535]
本研究では,6種類のサロゲートアルゴリズムを,異なる実環境アプリケーションから4つの高価な最適化問題に対して広範囲に比較する。
これにより、探査の相対的重要性、目的物の評価時間、使用済みモデルに関する新たな洞察がもたらされた。
アルゴリズムとベンチマーク問題インスタンスを公開し、サロゲートアルゴリズムのより均一な分析に寄与する。
論文 参考訳（メタデータ） (2021-06-08T18:17:42Z) - Benchmarking Simulation-Based Inference [5.3898004059026325]
確率的モデリングの最近の進歩は、確率の数値的評価を必要としないシミュレーションに基づく推論アルゴリズムを多数もたらした。
推論タスクと適切なパフォーマンス指標を備えたベンチマークを,アルゴリズムの初期選択とともに提供する。
性能指標の選択は重要であり、最先端のアルゴリズムでさえ改善の余地があり、逐次推定によりサンプリング効率が向上することがわかった。
論文 参考訳（メタデータ） (2021-01-12T18:31:22Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Black-Box Optimization Revisited: Improving Algorithm Selection Wizards
through Massive Benchmarking [8.874754363200614]
機械学習のためのブラックボックス最適化の既存の研究は、低い一般化性に悩まされている。
そこで我々は,ブラックボックス最適化の幅広い問題を網羅するベンチマークスイートOptimSuiteを提案する。
ABBOは全てのベンチマークスイートで競合性能を達成する。
論文 参考訳（メタデータ） (2020-10-08T14:17:30Z) - Ranking a set of objects: a graph based least-square approach [70.7866286425868]
同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。
品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:19:09Z) - Extreme Algorithm Selection With Dyadic Feature Representation [78.13985819417974]
我々は,数千の候補アルゴリズムの固定セットを考慮に入れた,極端なアルゴリズム選択(XAS)の設定を提案する。
我々は、XAS設定に対する最先端のAS技術の適用性を評価し、Dyadic特徴表現を利用したアプローチを提案する。
論文 参考訳（メタデータ） (2020-01-29T09:40:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。