論文の概要: BBOB Instance Analysis: Landscape Properties and Algorithm Performance
across Problem Instances
- arxiv url: http://arxiv.org/abs/2211.16318v1
- Date: Tue, 29 Nov 2022 15:58:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 15:28:15.480925
- Title: BBOB Instance Analysis: Landscape Properties and Algorithm Performance
across Problem Instances
- Title(参考訳): BBOBインスタンス分析:問題インスタンス間のランドスケープ特性とアルゴリズム性能
- Authors: Fu Xing Long and Diederick Vermetten and Bas van Stein and Anna V.
Kononova
- Abstract要約: 24個の単目的ノイズレス関数からなるブラックボックス最適化ベンチマーク(BBOB)スイートは10年以上にわたって標準であった。
我々は,各BBOB問題に対する500インスタンスのセットを考慮し,BBOBインスタンス作成プロトコルを検討する。
本稿では,BBOBインスタンスにまたがる景観特徴の分布が,多数の問題に対して非常に多様であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benchmarking is a key aspect of research into optimization algorithms, and as
such the way in which the most popular benchmark suites are designed implicitly
guides some parts of algorithm design. One of these suites is the black-box
optimization benchmarking (BBOB) suite of 24 single-objective noiseless
functions, which has been a standard for over a decade. Within this problem
suite, different instances of a single problem can be created, which is
beneficial for testing the stability and invariance of algorithms under
transformations. In this paper, we investigate the BBOB instance creation
protocol by considering a set of 500 instances for each BBOB problem. Using
exploratory landscape analysis, we show that the distribution of landscape
features across BBOB instances is highly diverse for a large set of problems.
In addition, we run a set of eight algorithms across these 500 instances, and
investigate for which cases statistically significant differences in
performance occur. We argue that, while the transformations applied in BBOB
instances do indeed seem to preserve the high-level properties of the
functions, their difference in practice should not be overlooked, particularly
when treating the problems as box-constrained instead of unconstrained.
- Abstract(参考訳): ベンチマークは最適化アルゴリズムの研究の重要な側面であり、最も人気のあるベンチマークスイートが暗黙的にアルゴリズム設計の一部を導く方法で設計されている。
これらのスイートの1つは、ブラックボックス最適化ベンチマーク(BBOB)スイートで、24個の単目的ノイズレス関数が10年以上にわたって標準であった。
この問題スイートでは、単一の問題の異なるインスタンスが作成できるため、変換下のアルゴリズムの安定性と不変性をテストするのに有用である。
本稿では,各BBOB問題に対する500インスタンスの集合を考慮したBBOBインスタンス生成プロトコルについて検討する。
探索ランドスケープ解析を用いて,BBOBインスタンスにまたがる景観特徴の分布は,多くの問題に対して非常に多様であることを示す。
さらに,これら500インスタンスにわたって8つのアルゴリズムセットを実行し,どのケースでパフォーマンスに有意な差が生じたかを調査した。
BBOBのインスタンスに適用される変換は、関数の高レベルな性質を実際に保持しているように見えるが、特に制約のない問題ではなく、ボックスに制限された問題として扱う場合、それらの実践上の違いは見過ごされるべきではない。
関連論文リスト
- Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization [52.80408805368928]
本稿では,バッチ取得のための新しいグリーディ型サブセット選択アルゴリズムを提案する。
赤蛍光タンパク質に関する実験により,提案手法は1.69倍少ないクエリでベースライン性能を達成できることが判明した。
論文 参考訳(メタデータ) (2024-06-21T05:57:08Z) - MA-BBOB: Many-Affine Combinations of BBOB Functions for Evaluating
AutoML Approaches in Noiseless Numerical Black-Box Optimization Contexts [0.8258451067861933]
(MA-)BBOBは、一般公開のIOHファウンサープラットフォーム上に構築されている。
パフォーマンス分析と視覚化のためのインタラクティブなIOHanalyzerモジュールへのアクセスを提供し、(MA-)BBOB関数で利用可能なリッチで成長中のデータコレクションとの比較を可能にする。
論文 参考訳(メタデータ) (2023-06-18T19:32:12Z) - Patch-aware Batch Normalization for Improving Cross-domain Robustness [55.06956781674986]
クロスドメインタスクは、トレーニングセットとテストセットが異なるディストリビューションに従うと、モデルのパフォーマンスが低下する課題を示す。
パッチ対応バッチ正規化(PBN)と呼ばれる新しい手法を提案する。
画像の局所的なパッチの違いを利用して、提案したPBNはモデルパラメータの堅牢性を効果的に向上させることができる。
論文 参考訳(メタデータ) (2023-04-06T03:25:42Z) - HPO X ELA: Investigating Hyperparameter Optimization Landscapes by Means
of Exploratory Landscape Analysis [0.685068326729525]
本研究では,探索ランドスケープ解析(ELA)を用いて未知の最適化問題の特性を把握できることを示す。
本稿では,XGデータセットの2次元・3次元・5次元連続探索空間からなる30個のHPO問題に対する5種類のブラックボックスブース学習者の性能評価を行う。
ELAの機能空間におけるHPO問題に近いBBOB問題のサブセットを特定し、この2つのベンチマーク問題に対して、性能が相違なく類似していることを示す。
論文 参考訳(メタデータ) (2022-07-30T13:46:46Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳(メタデータ) (2021-04-19T17:22:11Z) - On the Assessment of Benchmark Suites for Algorithm Comparison [7.501426386641256]
BBOBスイートのほとんどのベンチマーク関数は、高い難易度(最適化アルゴリズムと比較)と低い差別性を有することを示す。
我々は、ベンチマークスイートの設計を改善することを含む、ベンチマークにおけるIRTの潜在的な使用について論じる。
論文 参考訳(メタデータ) (2021-04-15T11:20:11Z) - An Efficient Diagnosis Algorithm for Inconsistent Constraint Sets [68.8204255655161]
過制約問題における最小限の障害制約を識別する分割・分散型診断アルゴリズム(FastDiag)を提案する。
ヒットセットの競合指向計算とfastdiagを比較し,詳細な性能解析を行う。
論文 参考訳(メタデータ) (2021-02-17T19:55:42Z) - Black-Box Optimization Revisited: Improving Algorithm Selection Wizards
through Massive Benchmarking [8.874754363200614]
機械学習のためのブラックボックス最適化の既存の研究は、低い一般化性に悩まされている。
そこで我々は,ブラックボックス最適化の幅広い問題を網羅するベンチマークスイートOptimSuiteを提案する。
ABBOは全てのベンチマークスイートで競合性能を達成する。
論文 参考訳(メタデータ) (2020-10-08T14:17:30Z) - A black-box adversarial attack for poisoning clustering [78.19784577498031]
本稿では,クラスタリングアルゴリズムのロバスト性をテストするために,ブラックボックス対逆攻撃法を提案する。
我々の攻撃は、SVM、ランダムフォレスト、ニューラルネットワークなどの教師付きアルゴリズムに対しても転送可能であることを示す。
論文 参考訳(メタデータ) (2020-09-09T18:19:31Z) - Refined bounds for algorithm configuration: The knife-edge of dual class
approximability [94.83809668933021]
トレーニングセットが、トレーニングセット上でのパラメータの平均メトリックのパフォーマンスが、予想される将来的なパフォーマンスに最も近いことを保証するために、どの程度の規模が必要かを調査する。
この近似が L-無限ノルムの下で成り立つなら、強いサンプル複雑性境界を与えることができる。
我々は、コンピュータ科学において最も強力なツールの一つである整数プログラミングの文脈において、我々の限界を実証的に評価する。
論文 参考訳(メタデータ) (2020-06-21T15:32:21Z) - Towards Dynamic Algorithm Selection for Numerical Black-Box
Optimization: Investigating BBOB as a Use Case [4.33419118449588]
シングルスウィッチな動的アルゴリズムの選択(dynAS)でさえ、大きな性能向上をもたらす可能性があることを示す。
また、dynASにおける重要な課題についても論じ、BBOBフレームワークがこれらを克服する上で有用なツールになり得ると論じる。
論文 参考訳(メタデータ) (2020-06-11T16:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。