論文の概要: The Pitfalls of Benchmarking in Algorithm Selection: What We Are Getting Wrong
- arxiv url: http://arxiv.org/abs/2505.07750v1
- Date: Mon, 12 May 2025 16:57:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:49.499213
- Title: The Pitfalls of Benchmarking in Algorithm Selection: What We Are Getting Wrong
- Title（参考訳）: アルゴリズム選択におけるベンチマークの落とし穴
- Authors: Gašper Petelin, Gjorgjina Cenikj,
- Abstract要約: 本稿では,コミュニティで頻繁に発生する方法論的問題に注目し,アルゴリズムの選択手法を評価する際に対処すべき課題について述べる。
非形式的特徴やメタモデルは高い精度を達成できることを示すが、十分に設計された評価フレームワークではそうはならない。
- 参考スコア（独自算出の注目度）: 1.973144426163543
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Algorithm selection, aiming to identify the best algorithm for a given problem, plays a pivotal role in continuous black-box optimization. A common approach involves representing optimization functions using a set of features, which are then used to train a machine learning meta-model for selecting suitable algorithms. Various approaches have demonstrated the effectiveness of these algorithm selection meta-models. However, not all evaluation approaches are equally valid for assessing the performance of meta-models. We highlight methodological issues that frequently occur in the community and should be addressed when evaluating algorithm selection approaches. First, we identify flaws with the "leave-instance-out" evaluation technique. We show that non-informative features and meta-models can achieve high accuracy, which should not be the case with a well-designed evaluation framework. Second, we demonstrate that measuring the performance of optimization algorithms with metrics sensitive to the scale of the objective function requires careful consideration of how this impacts the construction of the meta-model, its predictions, and the model's error. Such metrics can falsely present overly optimistic performance assessments of the meta-models. This paper emphasizes the importance of careful evaluation, as loosely defined methodologies can mislead researchers, divert efforts, and introduce noise into the field
- Abstract（参考訳）: アルゴリズムの選択は、与えられた問題に対して最適なアルゴリズムを特定することを目的としており、連続的なブラックボックス最適化において重要な役割を果たす。
一般的なアプローチでは、一連の機能を使用して最適化関数を表現し、適切なアルゴリズムを選択するために機械学習メタモデルをトレーニングするために使用される。
アルゴリズム選択メタモデルの有効性は,様々なアプローチで実証されている。
しかし、全ての評価手法がメタモデルの性能を評価するのに等しく有効であるわけではない。
本稿では,コミュニティで頻繁に発生する方法論的問題に注目し,アルゴリズムの選択手法を評価する際に対処すべき課題について述べる。
まず,「リーブ・インスタンス・アウト」評価手法による欠陥を同定する。
非形式的特徴やメタモデルは高い精度を達成できることを示すが、十分に設計された評価フレームワークではそうはならない。
第2に、目的関数のスケールに敏感なメトリクスを用いた最適化アルゴリズムの性能測定は、それがメタモデルの構築、その予測、モデルエラーにどのように影響するかを慎重に検討する必要があることを実証する。
このような指標は、メタモデルの過度に楽観的なパフォーマンス評価を提示する可能性がある。
本稿では,ゆるやかに定義された方法論が研究者を誤解させ,努力を分散させ,騒音を現場に導入するので,注意深い評価の重要性を強調した。
関連論文リスト
- An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - A Survey of Meta-features Used for Automated Selection of Algorithms for Black-box Single-objective Continuous Optimization [4.173197621837912]
単目的連続ブラックボックス最適化の分野におけるアルゴリズム選択への重要な貢献について概説する。
自動アルゴリズム選択、構成、性能予測のための機械学習モデルについて検討する。
論文 参考訳（メタデータ） (2024-06-08T11:11:14Z) - DynamoRep: Trajectory-Based Population Dynamics for Classification of
Black-box Optimization Problems [0.755972004983746]
簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。
提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
論文 参考訳（メタデータ） (2023-06-08T06:57:07Z) - Neural Improvement Heuristics for Graph Combinatorial Optimization
Problems [49.85111302670361]
本稿では,ノード,エッジ,あるいはその両方に情報をエンコードするグラフベースの問題を扱う新しいニューラル改善(NI)モデルを提案する。
提案モデルは,各地区の操作の選択を誘導する丘登頂に基づくアルゴリズムの基本的な構成要素として機能する。
論文 参考訳（メタデータ） (2022-06-01T10:35:29Z) - Compactness Score: A Fast Filter Method for Unsupervised Feature
Selection [66.84571085643928]
本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。
提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
論文 参考訳（メタデータ） (2022-01-31T13:01:37Z) - RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。
この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。
ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
論文 参考訳（メタデータ） (2021-10-27T05:37:12Z) - Meta Learning Black-Box Population-Based Optimizers [0.0]
人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。
メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
論文 参考訳（メタデータ） (2021-03-05T08:13:25Z) - Towards Feature-Based Performance Regression Using Trajectory Data [0.9281671380673306]
ブラックボックス最適化は非常に活発な研究領域であり、毎年多くの新しいアルゴリズムが開発されている。
アルゴリズムの多様性はメタプロブレム(メタプロブレム):どのアルゴリズムが与えられた問題を選択するか?
過去の研究では、探索ランドスケープ分析に基づくインスタンスごとのアルゴリズム選択が、このメタプロブレムに取り組むための効率的な手段であることが示されている。
論文 参考訳（メタデータ） (2021-02-10T10:19:13Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - Stochastic Optimization Forests [60.523606291705214]
標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。
概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
論文 参考訳（メタデータ） (2020-08-17T16:56:06Z) - Landscape-Aware Fixed-Budget Performance Regression and Algorithm
Selection for Modular CMA-ES Variants [1.0965065178451106]
市販の教師あり学習手法を用いて,高品質な性能予測が可能であることを示す。
このアプローチを,モジュール型CMA-ESアルゴリズム群から選択した,非常に類似したアルゴリズムのポートフォリオ上でテストする。
論文 参考訳（メタデータ） (2020-06-17T13:34:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。