論文の概要: Benchmarking in Optimization: Best Practice and Open Issues
- arxiv url: http://arxiv.org/abs/2007.03488v2
- Date: Wed, 16 Dec 2020 22:36:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 19:51:38.083244
- Title: Benchmarking in Optimization: Best Practice and Open Issues
- Title(参考訳): 最適化におけるベンチマーク - ベストプラクティスとオープンイシュー
- Authors: Thomas Bartz-Beielstein, Carola Doerr, Daan van den Berg, Jakob
Bossek, Sowmya Chandrasekaran, Tome Eftimov, Andreas Fischbach, Pascal
Kerschke, William La Cava, Manuel Lopez-Ibanez, Katherine M. Malan, Jason H.
Moore, Boris Naujoks, Patryk Orzechowski, Vanessa Volz, Markus Wagner, Thomas
Weise
- Abstract要約: この調査は、異なる背景を持つ12人以上の研究者と、世界中の異なる研究所のアイデアとレコメンデーションをまとめたものだ。
本稿は、ベンチマークにおける8つの重要なトピックについて論じる: 明確な目標、明確に定義された問題、適切なアルゴリズム、適切なパフォーマンス対策、思慮深い分析、効率的かつ効率的な設計、理解可能なプレゼンテーション、保証。
- 参考スコア(独自算出の注目度): 9.710173903804373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This survey compiles ideas and recommendations from more than a dozen
researchers with different backgrounds and from different institutes around the
world. Promoting best practice in benchmarking is its main goal. The article
discusses eight essential topics in benchmarking: clearly stated goals,
well-specified problems, suitable algorithms, adequate performance measures,
thoughtful analysis, effective and efficient designs, comprehensible
presentations, and guaranteed reproducibility. The final goal is to provide
well-accepted guidelines (rules) that might be useful for authors and
reviewers. As benchmarking in optimization is an active and evolving field of
research this manuscript is meant to co-evolve over time by means of periodic
updates.
- Abstract(参考訳): この調査は、異なる背景を持つ12人以上の研究者と、世界中の異なる研究所のアイデアとレコメンデーションをまとめたものだ。
ベンチマークにおけるベストプラクティスの推進が主な目標です。
明確に定義された目標、明確に特定された問題、適切なアルゴリズム、適切なパフォーマンス測定、思慮深い分析、効果的で効率的な設計、理解可能なプレゼンテーション、再現性を保証すること。
最後の目標は、著者やレビュアーにとって有用なガイドライン(ルール)を提供することです。
最適化のベンチマークは活発で進化している研究分野であるので、この原稿は定期的な更新によって時間とともに共進化することを意図している。
関連論文リスト
- Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳(メタデータ) (2024-03-05T14:18:15Z) - Explainable Benchmarking for Iterative Optimization Heuristics [0.8192907805418583]
我々は、様々な最適化アルゴリズムの性能を分析し、理解するためのIOH-Xplainerソフトウェアフレームワークを紹介する。
さまざまなアルゴリズムコンポーネントと構成の影響を調査し、さまざまなシナリオにおけるパフォーマンスに関する洞察を提供する。
論文 参考訳(メタデータ) (2024-01-31T14:02:26Z) - Rethinking and Benchmarking Predict-then-Optimize Paradigm for
Combinatorial Optimization Problems [62.25108152764568]
多くのWebアプリケーションは、エネルギーコストを考慮したスケジューリング、Web広告の予算配分、ソーシャルネットワークでのグラフマッチングなど、最適化問題の解決に頼っている。
統一システムにおける予測と意思決定の性能について考察する。
我々は、現在のアプローチを包括的に分類し、既存の実験シナリオを統合する。
論文 参考訳(メタデータ) (2023-11-13T13:19:34Z) - A Practical Survey on Zero-shot Prompt Design for In-context Learning [0.0]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクを大幅に改善した。
本稿では,異なる種類のプロンプトに着目した,コンテキスト内学習手法の総合的なレビューを行う。
本稿では,手動設計や最適化アルゴリズム,評価手法など,設計を促すための様々なアプローチについて検討する。
論文 参考訳(メタデータ) (2023-09-22T23:00:34Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳(メタデータ) (2023-05-23T11:30:43Z) - EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。
InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。
我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
論文 参考訳(メタデータ) (2022-09-27T12:26:05Z) - Benchopt: Reproducible, efficient and collaborative optimization
benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文 参考訳(メタデータ) (2022-06-27T16:19:24Z) - A Field Guide to Federated Optimization [161.3779046812383]
フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。
本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
論文 参考訳(メタデータ) (2021-07-14T18:09:08Z) - Descending through a Crowded Valley - Benchmarking Deep Learning
Optimizers [29.624308090226375]
本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。
そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。
我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
論文 参考訳(メタデータ) (2020-07-03T08:19:36Z) - Benchmarking for Metaheuristic Black-Box Optimization: Perspectives and
Open Challenges [0.0]
新たな最適化アルゴリズムの研究は、そのようなアルゴリズムが現実世界や産業に関係のある課題に対処する能力を改善するという動機に基づいていることが多い。
多くのテスト問題とベンチマークスイートが開発され、アルゴリズムの比較評価に利用されている。
論文 参考訳(メタデータ) (2020-07-01T15:09:40Z) - Fairness in Bio-inspired Optimization Research: A Prescription of
Methodological Guidelines for Comparing Meta-heuristics [20.732078407331507]
本稿では,新しいバイオインスパイアされたアルゴリズムの提案を成功させるための方法論的ガイドラインを提案する。
著者らが報告した結果は、過去の結果よりも大幅に進歩することが証明されるべきである。
我々は、これらのガイドラインが著者だけでなく、レビュアーや編集者にも有用であると期待している。
論文 参考訳(メタデータ) (2020-04-19T04:46:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。