論文の概要: Benchmarking in Optimization: Best Practice and Open Issues

• arxiv url: http://arxiv.org/abs/2007.03488v2
• Date: Wed, 16 Dec 2020 22:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 19:51:38.083244
• Title: Benchmarking in Optimization: Best Practice and Open Issues
• Title（参考訳）: 最適化におけるベンチマーク - ベストプラクティスとオープンイシュー
• Authors: Thomas Bartz-Beielstein, Carola Doerr, Daan van den Berg, Jakob Bossek, Sowmya Chandrasekaran, Tome Eftimov, Andreas Fischbach, Pascal Kerschke, William La Cava, Manuel Lopez-Ibanez, Katherine M. Malan, Jason H. Moore, Boris Naujoks, Patryk Orzechowski, Vanessa Volz, Markus Wagner, Thomas Weise
• Abstract要約: この調査は、異なる背景を持つ12人以上の研究者と、世界中の異なる研究所のアイデアとレコメンデーションをまとめたものだ。 本稿は、ベンチマークにおける8つの重要なトピックについて論じる: 明確な目標、明確に定義された問題、適切なアルゴリズム、適切なパフォーマンス対策、思慮深い分析、効率的かつ効率的な設計、理解可能なプレゼンテーション、保証。
• 参考スコア（独自算出の注目度）: 9.710173903804373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This survey compiles ideas and recommendations from more than a dozen researchers with different backgrounds and from different institutes around the world. Promoting best practice in benchmarking is its main goal. The article discusses eight essential topics in benchmarking: clearly stated goals, well-specified problems, suitable algorithms, adequate performance measures, thoughtful analysis, effective and efficient designs, comprehensible presentations, and guaranteed reproducibility. The final goal is to provide well-accepted guidelines (rules) that might be useful for authors and reviewers. As benchmarking in optimization is an active and evolving field of research this manuscript is meant to co-evolve over time by means of periodic updates.
• Abstract（参考訳）: この調査は、異なる背景を持つ12人以上の研究者と、世界中の異なる研究所のアイデアとレコメンデーションをまとめたものだ。 ベンチマークにおけるベストプラクティスの推進が主な目標です。 明確に定義された目標、明確に特定された問題、適切なアルゴリズム、適切なパフォーマンス測定、思慮深い分析、効果的で効率的な設計、理解可能なプレゼンテーション、再現性を保証すること。 最後の目標は、著者やレビュアーにとって有用なガイドライン(ルール)を提供することです。 最適化のベンチマークは活発で進化している研究分野であるので、この原稿は定期的な更新によって時間とともに共進化することを意図している。

関連論文リスト

• MO-IOHinspector: Anytime Benchmarking of Multi-Objective Algorithms using IOHprofiler [0.7418044931036347]
  本稿では,非有界アーチの原則をロギング構造として利用する新しいソフトウェアツールを提案する。 これにより、実験設計とその後の分析決定の分離がより明確になる。
  論文  参考訳（メタデータ） (2024-12-10T12:00:53Z)
• Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance [9.274054218991528]
  近年,精度を直接最適化する最適決定木 (ODT) 手法への関心が高まっている。 我々は,ODTの比較的探索されていない2つの側面を同定する。 最適手法の値は、文献が矛盾する結果をもたらすため、まだ十分に理解されていない。
  論文  参考訳（メタデータ） (2024-09-19T13:55:29Z)
• DOCE: Finding the Sweet Spot for Execution-Based Code Generation [69.5305729627198]
  本稿では,候補生成,$n$-best再ランク,最小ベイズリスク(MBR)復号化,自己老化などを含む包括的フレームワークを提案する。 本研究は,実行ベースメソッドの重要性と,実行ベースメソッドと実行フリーメソッドとの差を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T07:10:36Z)
• Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models [95.96734086126469]
  大規模言語モデル(LLM)は、ユーザが仕事を達成するのを助けるアシスタントとして機能し、高度なアプリケーションの開発をサポートする。 LLMの幅広い応用にとって、推論効率は重要な問題であり、既存の研究で広く研究されている。 各種コードライブラリの推論性能の粗大な解析を行う。
  論文  参考訳（メタデータ） (2024-04-17T15:57:50Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)
• Benchopt: Reproducible, efficient and collaborative optimization benchmarks [67.29240500171532]
  Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
  論文  参考訳（メタデータ） (2022-06-27T16:19:24Z)
• A Field Guide to Federated Optimization [161.3779046812383]
  フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。 本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
  論文  参考訳（メタデータ） (2021-07-14T18:09:08Z)
• Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers [29.624308090226375]
  本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。 そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。 我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
  論文  参考訳（メタデータ） (2020-07-03T08:19:36Z)
• Benchmarking for Metaheuristic Black-Box Optimization: Perspectives and Open Challenges [0.0]
  新たな最適化アルゴリズムの研究は、そのようなアルゴリズムが現実世界や産業に関係のある課題に対処する能力を改善するという動機に基づいていることが多い。 多くのテスト問題とベンチマークスイートが開発され、アルゴリズムの比較評価に利用されている。
  論文  参考訳（メタデータ） (2020-07-01T15:09:40Z)
• A Prescription of Methodological Guidelines for Comparing Bio-inspired Optimization Algorithms [15.803264424018488]
  本稿では,新しいバイオインスパイアされたアルゴリズムの提案を成功させるための方法論的ガイドラインを提案する。 著者らが報告した結果は、過去の結果よりも大幅に進歩することが証明されるべきである。 我々は、これらのガイドラインが著者だけでなく、レビュアーや編集者にも有用であると期待している。
  論文  参考訳（メタデータ） (2020-04-19T04:46:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。