論文の概要: SELECTOR: Selecting a Representative Benchmark Suite for Reproducible Statistical Comparison

• arxiv url: http://arxiv.org/abs/2204.11527v1
• Date: Mon, 25 Apr 2022 09:38:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 17:59:59.429450
• Title: SELECTOR: Selecting a Representative Benchmark Suite for Reproducible Statistical Comparison
• Title（参考訳）: SELECTOR:再現可能な統計的比較のための代表ベンチマークスイートの選択
• Authors: Gjorgjina Cenikj, Ryan Dieter Lang, Andries Petrus Engelbrecht, Carola Doerr, Peter Koro\v{s}ec and Tome Eftimov
• Abstract要約: 最適化アルゴリズムの比較に係わるべき多様な問題事例を選択するための3つのアプローチを評価する。 最初のアプローチでは、クラスタリングを使用して、問題インスタンスの類似したグループを特定し、その後、各クラスタからサンプリングして、新しいベンチマークを構築する。 他の2つのアプローチは、支配的および最大独立なノード群を特定するためにグラフアルゴリズムを使用する。
• 参考スコア（独自算出の注目度）: 0.7046417074932257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fair algorithm evaluation is conditioned on the existence of high-quality benchmark datasets that are non-redundant and are representative of typical optimization scenarios. In this paper, we evaluate three heuristics for selecting diverse problem instances which should be involved in the comparison of optimization algorithms in order to ensure robust statistical algorithm performance analysis. The first approach employs clustering to identify similar groups of problem instances and subsequent sampling from each cluster to construct new benchmarks, while the other two approaches use graph algorithms for identifying dominating and maximal independent sets of nodes. We demonstrate the applicability of the proposed heuristics by performing a statistical performance analysis of five portfolios consisting of three optimization algorithms on five of the most commonly used optimization benchmarks. The results indicate that the statistical analyses of the algorithms' performance, conducted on each benchmark separately, produce conflicting outcomes, which can be used to give a false indication of the superiority of one algorithm over another. On the other hand, when the analysis is conducted on the problem instances selected with the proposed heuristics, which uniformly cover the problem landscape, the statistical outcomes are robust and consistent.
• Abstract（参考訳）: 公正なアルゴリズム評価は、非冗長で典型的な最適化シナリオを代表する高品質なベンチマークデータセットの存在を条件としている。 本稿では,ロバストな統計アルゴリズムの性能解析を実現するために,最適化アルゴリズムの比較にかかわる様々な問題インスタンスを選択するための3つのヒューリスティックスを評価する。 最初のアプローチでは、類似した問題インスタンスのグループを特定するクラスタリングと、それに続く各クラスタからのサンプリングを使用して新しいベンチマークを構築し、他の2つのアプローチではグラフアルゴリズムを使用してノードの最大独立セットを識別する。 本稿では,最もよく使用される最適化ベンチマークの5つに対して,3つの最適化アルゴリズムからなる5つのポートフォリオの統計的性能解析を行うことにより,提案手法の適用性を示す。 その結果、各ベンチマークで別々に実施したアルゴリズムの性能の統計的分析は相反する結果をもたらし、あるアルゴリズムが他のアルゴリズムよりも優れているという誤った兆候を与えることができる。 一方,提案するヒューリスティックスを用いて選択した問題事例について分析を行った場合,統計的結果がロバストで一貫したものとなる。

関連論文リスト

• HRA: A Multi-Criteria Framework for Ranking Metaheuristic Optimization Algorithms [0.0]
  HRAアルゴリズムはメタヒューリスティックアルゴリズムの性能を多くの基準と次元で効率的にランク付けすることを目的としている。 我々は,CEC 2017コンペティションのデータを用いて,HRAフレームワークの堅牢性と有効性を示す。
  論文  参考訳（メタデータ） (2024-09-18T00:44:50Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Towards Robust Benchmarking of Quantum Optimization Algorithms [3.9456729020535013]
  既存のベンチマークフレームワークにおける重要な問題は、それぞれが古典的なアプローチで最高の量子を最適化するのと同じ努力をしていないことである。 本稿では,公正なベンチマークに向けての普遍的な手順を包括的にまとめたガイドラインについて述べる。
  論文  参考訳（メタデータ） (2024-05-13T10:35:23Z)
• Quantized Hierarchical Federated Learning: A Robust Approach to Statistical Heterogeneity [3.8798345704175534]
  本稿では,コミュニケーション効率に量子化を組み込んだ新しい階層型フェデレーション学習アルゴリズムを提案する。 最適性ギャップと収束率を評価するための包括的な分析フレームワークを提供する。 この結果から,本アルゴリズムはパラメータの範囲で常に高い学習精度を達成できることが判明した。
  論文  参考訳（メタデータ） (2024-03-03T15:40:24Z)
• Prasatul Matrix: A Direct Comparison Approach for Analyzing Evolutionary Optimization Algorithms [2.1320960069210475]
  進化最適化アルゴリズムの性能を解析するために,直接比較手法を提案する。 アルゴリズムの性能を評価するために、プラサトゥール行列に基づいて5つの異なる性能尺度を設計する。
  論文  参考訳（メタデータ） (2022-12-01T17:21:44Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
  任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。 提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
  論文  参考訳（メタデータ） (2021-05-23T19:21:55Z)
• On the Assessment of Benchmark Suites for Algorithm Comparison [7.501426386641256]
  BBOBスイートのほとんどのベンチマーク関数は、高い難易度(最適化アルゴリズムと比較)と低い差別性を有することを示す。 我々は、ベンチマークスイートの設計を改善することを含む、ベンチマークにおけるIRTの潜在的な使用について論じる。
  論文  参考訳（メタデータ） (2021-04-15T11:20:11Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Ranking a set of objects: a graph based least-square approach [70.7866286425868]
  同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。 品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:19:09Z)
• Extreme Algorithm Selection With Dyadic Feature Representation [78.13985819417974]
  我々は,数千の候補アルゴリズムの固定セットを考慮に入れた,極端なアルゴリズム選択(XAS)の設定を提案する。 我々は、XAS設定に対する最先端のAS技術の適用性を評価し、Dyadic特徴表現を利用したアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-29T09:40:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。