論文の概要: OPTION: OPTImization Algorithm Benchmarking ONtology
- arxiv url: http://arxiv.org/abs/2211.11332v1
- Date: Mon, 21 Nov 2022 10:34:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 22:10:39.780360
- Title: OPTION: OPTImization Algorithm Benchmarking ONtology
- Title(参考訳): オプション:オントロジーをベンチマークするオプティマイズアルゴリズム
- Authors: Ana Kostovska, Diederick Vermetten, Carola Doerr, Saso D\v{z}eroski,
Pan\v{c}e Panov, Tome Eftimov
- Abstract要約: OPTION(OPTImization algorithm benchmarking ONtology)は、ベンチマークプラットフォーム用のセマンティックにリッチでマシン可読なデータモデルである。
私たちのオントロジーは、ベンチマークプロセスに関わるコアエンティティのセマンティックアノテーションに必要な語彙を提供します。
また、自動データ統合、相互運用性の改善、強力なクエリ機能を提供する。
- 参考スコア(独自算出の注目度): 4.060078409841919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many optimization algorithm benchmarking platforms allow users to share their
experimental data to promote reproducible and reusable research. However,
different platforms use different data models and formats, which drastically
complicates the identification of relevant datasets, their interpretation, and
their interoperability. Therefore, a semantically rich, ontology-based,
machine-readable data model that can be used by different platforms is highly
desirable. In this paper, we report on the development of such an ontology,
which we call OPTION (OPTImization algorithm benchmarking ONtology). Our
ontology provides the vocabulary needed for semantic annotation of the core
entities involved in the benchmarking process, such as algorithms, problems,
and evaluation measures. It also provides means for automatic data integration,
improved interoperability, and powerful querying capabilities, thereby
increasing the value of the benchmarking data. We demonstrate the utility of
OPTION, by annotating and querying a corpus of benchmark performance data from
the BBOB collection of the COCO framework and from the Yet Another Black-Box
Optimization Benchmark (YABBOB) family of the Nevergrad environment. In
addition, we integrate features of the BBOB functional performance landscape
into the OPTION knowledge base using publicly available datasets with
exploratory landscape analysis. Finally, we integrate the OPTION knowledge base
into the IOHprofiler environment and provide users with the ability to perform
meta-analysis of performance data.
- Abstract(参考訳): 多くの最適化アルゴリズムベンチマークプラットフォームは、再現性と再利用可能な研究を促進するために実験データを共有できるようにする。
しかし、異なるプラットフォームは異なるデータモデルとフォーマットを使用し、関連するデータセットの識別、解釈、相互運用性を著しく複雑にします。
したがって、異なるプラットフォームで使用できる意味論的にリッチなオントロジーベースの機械可読データモデルは非常に望ましい。
本稿では,オプティマイズ(optimization algorithm benchmarking ontology,最適化アルゴリズムベンチマークオントロジー)と呼ばれるオントロジーの開発について報告する。
我々のオントロジーは、アルゴリズム、問題、評価尺度などのベンチマークプロセスに関与するコアエンティティのセマンティックアノテーションに必要な語彙を提供する。
また、自動データ統合、相互運用性の向上、強力なクエリ機能の提供により、ベンチマークデータの価値も向上する。
本稿では、cocoフレームワークのbbobコレクションと、nevergrad環境の黒ボックス最適化ベンチマーク(yabbob)ファミリからベンチマークパフォーマンスデータのコーパスをアノテーションしてクエリすることで、optionの有用性を実証する。
さらに,BBOB機能性能景観の特徴を,探索ランドスケープ分析を用いた公開データセットを用いてOPTION知識ベースに統合する。
最後に、オプションの知識ベースをiohprofiler環境に統合し、パフォーマンスデータのメタ分析を行う機能を提供する。
関連論文リスト
- LESS: Selecting Influential Data for Targeted Instruction Tuning [69.50855460630105]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - MA-BBOB: Many-Affine Combinations of BBOB Functions for Evaluating
AutoML Approaches in Noiseless Numerical Black-Box Optimization Contexts [0.8258451067861933]
(MA-)BBOBは、一般公開のIOHファウンサープラットフォーム上に構築されている。
パフォーマンス分析と視覚化のためのインタラクティブなIOHanalyzerモジュールへのアクセスを提供し、(MA-)BBOB関数で利用可能なリッチで成長中のデータコレクションとの比較を可能にする。
論文 参考訳(メタデータ) (2023-06-18T19:32:12Z) - infoVerse: A Universal Framework for Dataset Characterization with
Multidimensional Meta-information [68.76707843019886]
infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。
infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。
実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2023-05-30T18:12:48Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳(メタデータ) (2022-07-20T17:47:54Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - IOHexperimenter: Benchmarking Platform for Iterative Optimization
Heuristics [3.6980928405935813]
IOHexperimenterは、反復最適化をベンチマークするための、使いやすく、高度にカスタマイズ可能なツールボックスを提供することを目標としている。
IOHexperimenterはスタンドアロンのツールとして、あるいはIOHanalyzerのようなIOHknownrの他のコンポーネントを使用するベンチマークパイプラインの一部として使用することができる。
論文 参考訳(メタデータ) (2021-11-07T13:11:37Z) - OPTION: OPTImization Algorithm Benchmarking ONtology [4.060078409841919]
OPTION (OPTImization algorithm benchmarking ONtology) は、ベンチマークアルゴリズムのための意味的にリッチでマシン可読なデータモデルである。
私たちのオントロジーは、ベンチマークプロセスに関わるコアエンティティのセマンティックアノテーションに必要な語彙を提供します。
また、自動データ統合、相互運用性の改善、強力なクエリ機能、推論のための手段も提供する。
論文 参考訳(メタデータ) (2021-04-24T06:11:30Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - IOHanalyzer: Detailed Performance Analyses for Iterative Optimization
Heuristics [3.967483941966979]
IOHanalyzerは、IOHのパフォーマンスデータを分析、比較、視覚化するための新しいユーザフレンドリーなツールである。
IOHanalyzerは、固定目標実行時間とベンチマークアルゴリズムの固定予算性能に関する詳細な統計を提供する。
IOHanalyzerは、主要なベンチマークプラットフォームから直接パフォーマンスデータを処理できる。
論文 参考訳(メタデータ) (2020-07-08T08:20:19Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z) - StackGenVis: Alignment of Data, Algorithms, and Models for Stacking
Ensemble Learning Using Performance Metrics [4.989480853499916]
機械学習(ML)では、バッグング、ブースティング、スタックングといったアンサンブル手法が広く確立されている。
StackGenVisは、スタック化された一般化のためのビジュアル分析システムである。
論文 参考訳(メタデータ) (2020-05-04T15:43:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。