論文の概要: OPTION: OPTImization Algorithm Benchmarking ONtology
- arxiv url: http://arxiv.org/abs/2211.11332v1
- Date: Mon, 21 Nov 2022 10:34:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 22:10:39.780360
- Title: OPTION: OPTImization Algorithm Benchmarking ONtology
- Title（参考訳）: オプション:オントロジーをベンチマークするオプティマイズアルゴリズム
- Authors: Ana Kostovska, Diederick Vermetten, Carola Doerr, Saso D\v{z}eroski,
Pan\v{c}e Panov, Tome Eftimov
- Abstract要約: OPTION(OPTImization algorithm benchmarking ONtology)は、ベンチマークプラットフォーム用のセマンティックにリッチでマシン可読なデータモデルである。
私たちのオントロジーは、ベンチマークプロセスに関わるコアエンティティのセマンティックアノテーションに必要な語彙を提供します。
また、自動データ統合、相互運用性の改善、強力なクエリ機能を提供する。
- 参考スコア（独自算出の注目度）: 4.060078409841919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many optimization algorithm benchmarking platforms allow users to share their
experimental data to promote reproducible and reusable research. However,
different platforms use different data models and formats, which drastically
complicates the identification of relevant datasets, their interpretation, and
their interoperability. Therefore, a semantically rich, ontology-based,
machine-readable data model that can be used by different platforms is highly
desirable. In this paper, we report on the development of such an ontology,
which we call OPTION (OPTImization algorithm benchmarking ONtology). Our
ontology provides the vocabulary needed for semantic annotation of the core
entities involved in the benchmarking process, such as algorithms, problems,
and evaluation measures. It also provides means for automatic data integration,
improved interoperability, and powerful querying capabilities, thereby
increasing the value of the benchmarking data. We demonstrate the utility of
OPTION, by annotating and querying a corpus of benchmark performance data from
the BBOB collection of the COCO framework and from the Yet Another Black-Box
Optimization Benchmark (YABBOB) family of the Nevergrad environment. In
addition, we integrate features of the BBOB functional performance landscape
into the OPTION knowledge base using publicly available datasets with
exploratory landscape analysis. Finally, we integrate the OPTION knowledge base
into the IOHprofiler environment and provide users with the ability to perform
meta-analysis of performance data.
- Abstract（参考訳）: 多くの最適化アルゴリズムベンチマークプラットフォームは、再現性と再利用可能な研究を促進するために実験データを共有できるようにする。
しかし、異なるプラットフォームは異なるデータモデルとフォーマットを使用し、関連するデータセットの識別、解釈、相互運用性を著しく複雑にします。
したがって、異なるプラットフォームで使用できる意味論的にリッチなオントロジーベースの機械可読データモデルは非常に望ましい。
本稿では,オプティマイズ(optimization algorithm benchmarking ontology,最適化アルゴリズムベンチマークオントロジー)と呼ばれるオントロジーの開発について報告する。
我々のオントロジーは、アルゴリズム、問題、評価尺度などのベンチマークプロセスに関与するコアエンティティのセマンティックアノテーションに必要な語彙を提供する。
また、自動データ統合、相互運用性の向上、強力なクエリ機能の提供により、ベンチマークデータの価値も向上する。
本稿では、cocoフレームワークのbbobコレクションと、nevergrad環境の黒ボックス最適化ベンチマーク(yabbob)ファミリからベンチマークパフォーマンスデータのコーパスをアノテーションしてクエリすることで、optionの有用性を実証する。
さらに,BBOB機能性能景観の特徴を,探索ランドスケープ分析を用いた公開データセットを用いてOPTION知識ベースに統合する。
最後に、オプションの知識ベースをiohprofiler環境に統合し、パフォーマンスデータのメタ分析を行う機能を提供する。
関連論文リスト
- Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。
分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。
BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2024-09-21T18:39:53Z) - Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。
負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
論文 参考訳（メタデータ） (2024-05-31T14:21:04Z) - Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient [52.2669490431145]
PropEnは'matching'にインスパイアされている。
一致したデータセットによるトレーニングは、データ分布内に留まりながら、興味のある性質の勾配を近似することを示す。
論文 参考訳（メタデータ） (2024-05-28T11:30:19Z) - MA-BBOB: Many-Affine Combinations of BBOB Functions for Evaluating
AutoML Approaches in Noiseless Numerical Black-Box Optimization Contexts [0.8258451067861933]
(MA-)BBOBは、一般公開のIOHファウンサープラットフォーム上に構築されている。
パフォーマンス分析と視覚化のためのインタラクティブなIOHanalyzerモジュールへのアクセスを提供し、(MA-)BBOB関数で利用可能なリッチで成長中のデータコレクションとの比較を可能にする。
論文 参考訳（メタデータ） (2023-06-18T19:32:12Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳（メタデータ） (2022-07-20T17:47:54Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - IOHexperimenter: Benchmarking Platform for Iterative Optimization
Heuristics [3.6980928405935813]
IOHexperimenterは、反復最適化をベンチマークするための、使いやすく、高度にカスタマイズ可能なツールボックスを提供することを目標としている。
IOHexperimenterはスタンドアロンのツールとして、あるいはIOHanalyzerのようなIOHknownrの他のコンポーネントを使用するベンチマークパイプラインの一部として使用することができる。
論文 参考訳（メタデータ） (2021-11-07T13:11:37Z) - OPTION: OPTImization Algorithm Benchmarking ONtology [4.060078409841919]
OPTION (OPTImization algorithm benchmarking ONtology) は、ベンチマークアルゴリズムのための意味的にリッチでマシン可読なデータモデルである。
私たちのオントロジーは、ベンチマークプロセスに関わるコアエンティティのセマンティックアノテーションに必要な語彙を提供します。
また、自動データ統合、相互運用性の改善、強力なクエリ機能、推論のための手段も提供する。
論文 参考訳（メタデータ） (2021-04-24T06:11:30Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - IOHanalyzer: Detailed Performance Analyses for Iterative Optimization
Heuristics [3.967483941966979]
IOHanalyzerは、IOHのパフォーマンスデータを分析、比較、視覚化するための新しいユーザフレンドリーなツールである。
IOHanalyzerは、固定目標実行時間とベンチマークアルゴリズムの固定予算性能に関する詳細な統計を提供する。
IOHanalyzerは、主要なベンチマークプラットフォームから直接パフォーマンスデータを処理できる。
論文 参考訳（メタデータ） (2020-07-08T08:20:19Z) - StackGenVis: Alignment of Data, Algorithms, and Models for Stacking Ensemble Learning Using Performance Metrics [4.237343083490243]
機械学習(ML)では、バッグング、ブースティング、スタックングといったアンサンブル手法が広く確立されている。
StackGenVisは、スタック化された一般化のためのビジュアル分析システムである。
論文 参考訳（メタデータ） (2020-05-04T15:43:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。