論文の概要: How to Evaluate Solutions in Pareto-based Search-Based Software
Engineering? A Critical Review and Methodological Guidance
- arxiv url: http://arxiv.org/abs/2002.09040v4
- Date: Sat, 28 Nov 2020 13:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 08:00:35.142854
- Title: How to Evaluate Solutions in Pareto-based Search-Based Software
Engineering? A Critical Review and Methodological Guidance
- Title（参考訳）: パレートベースの検索ベースソフトウェアエンジニアリングにおけるソリューションの評価方法
批判的レビューと方法論指導
- Authors: Miqing Li and Tao Chen and Xin Yao
- Abstract要約: 本稿では,検索ベースSEにおける多目的最適化の品質評価について検討する。
SBSEにおける品質評価指標/手法と一般的な状況の詳細な分析を行う。
異なるSBSEシナリオにおける評価手法の選択と利用のための方法論的ガイダンスをコーデレートする。
- 参考スコア（独自算出の注目度）: 9.040916182677963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With modern requirements, there is an increasing tendency of considering
multiple objectives/criteria simultaneously in many Software Engineering (SE)
scenarios. Such a multi-objective optimization scenario comes with an important
issue -- how to evaluate the outcome of optimization algorithms, which
typically is a set of incomparable solutions (i.e., being Pareto non-dominated
to each other). This issue can be challenging for the SE community,
particularly for practitioners of Search-Based SE (SBSE). On one hand,
multi-objective optimization could still be relatively new to SE/SBSE
researchers, who may not be able to identify the right evaluation methods for
their problems. On the other hand, simply following the evaluation methods for
general multi-objective optimization problems may not be appropriate for
specific SE problems, especially when the problem nature or decision maker's
preferences are explicitly/implicitly available. This has been well echoed in
the literature by various inappropriate/inadequate selection and
inaccurate/misleading use of evaluation methods. In this paper, we first carry
out a systematic and critical review of quality evaluation for multi-objective
optimization in SBSE. We survey 717 papers published between 2009 and 2019 from
36 venues in seven repositories, and select 95 prominent studies, through which
we identify five important but overlooked issues in the area. We then conduct
an in-depth analysis of quality evaluation indicators/methods and general
situations in SBSE, which, together with the identified issues, enables us to
codify a methodological guidance for selecting and using evaluation methods in
different SBSE scenarios.
- Abstract（参考訳）: 現代の要件では、多くのソフトウェアエンジニアリング(SE)シナリオにおいて、複数の目標/基準を同時に検討する傾向が高まっています。
このような多目的最適化シナリオには重要な問題があり、最適化アルゴリズムの結果をどのように評価するかが問題となる。
この問題はSEコミュニティ、特に検索ベースSE(SBSE)の実践者にとって難しい。
一方、多目的最適化はSE/SBSE研究者にとって比較的新しいものであり、それらの問題に対する適切な評価方法を特定できない可能性がある。
一方、一般的な多目的最適化問題に対する評価手法に従うだけでは、特に問題の性質や意思決定者の好みが明確かつ単純である場合、特定のSE問題には適さない。
これは、様々な不適切な、不適切な選択と不正確な評価方法の使用によって、文献によく反映されている。
本稿では,SBSEにおける多目的最適化のための品質評価の体系的かつ批判的なレビューを行う。
2009年から2019年にかけて、36の会場から7つのレポジトリから717の論文を調査し、95の著名な研究を選定した。
次に、SBSEにおける品質評価指標/手法と一般的な状況の詳細な分析を行い、特定された問題とともに、異なるSBSEシナリオにおける評価方法の選択と利用のための方法論的ガイダンスを定式化することができる。
関連論文リスト
- Illuminating the Diversity-Fitness Trade-Off in Black-Box Optimization [9.838618121102053]
現実世界のアプリケーションでは、ユーザーは1つの高品質なソリューションよりも構造的に多様な設計選択を好むことが多い。
本稿では, この課題に対する新たな視点として, 与えられたしきい値を超えるペア距離の一定数の解を同定する問題を考察する。
論文 参考訳（メタデータ） (2024-08-29T09:55:55Z) - On Speeding Up Language Model Evaluation [48.51924035873411]
LLM(Large Language Models)を用いたプロンプトベースの手法の開発には、多くの意思決定が必要である。
この課題に対処するための新しい手法を提案する。
典型的に必要とされるリソースの5～15%しか必要とせず,トップパフォーマンスの手法を識別できることが示される。
論文 参考訳（メタデータ） (2024-07-08T17:48:42Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - Robustness Assessment of Mathematical Reasoning in the Presence of Missing and Contradictory Conditions [48.251724997889184]
我々は、ミス・コントラクタリー条件(PMC)に関する問題というベンチマークを開発する。
本稿では,これらのシナリオにおける数ショットプロンプト手法の性能を評価するための2つの新しい指標を提案する。
SMT-LIB Prompting (SLP) と呼ばれる,SMT-LIB言語を用いて直接解決する代わりに,この問題をモデル化する手法を提案する。
論文 参考訳（メタデータ） (2024-06-07T16:24:12Z) - An Efficient Approach for Solving Expensive Constrained Multiobjective Optimization Problems [0.0]
効率的な確率的選択に基づく制約付き多目的EAをPSCMOEAと呼ぶ。
a) 評価された解の実現可能性と収束状態に基づく適応探索境界同定スキームのような新しい要素を含む。
ECMOPを模擬する低評価予算を用いて, 幅広い制約付き問題に対して, 数値実験を行った。
論文 参考訳（メタデータ） (2024-05-22T02:32:58Z) - Multiobjective Optimization Analysis for Finding Infrastructure-as-Code
Deployment Configurations [0.3774866290142281]
本稿では,インフラストラクチャ・アズ・コード配置に関する多目的問題に焦点をあてる。
本稿では,9種類の進化型多目的アルゴリズムについて述べる。
フリードマンの非パラメトリックテストを用いて, 独立ランニング後の各手法の結果を比較した。
論文 参考訳（メタデータ） (2024-01-18T13:55:32Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - On solving decision and risk management problems subject to uncertainty [91.3755431537592]
不確実性は意思決定とリスク管理において広範囲にわたる課題である。
本稿では,このような戦略を体系的に理解し,その適用範囲を判断し,それらをうまく活用するための枠組みを開発する。
論文 参考訳（メタデータ） (2023-01-18T19:16:23Z) - Uncertainty-Aware Search Framework for Multi-Objective Bayesian
Optimization [40.40632890861706]
高価な関数評価を用いたマルチオブジェクト(MO)ブラックボックス最適化の問題点を考察する。
UeMOと呼ばれる新しい不確実性対応検索フレームワークを提案し、評価のための入力シーケンスを効率的に選択する。
論文 参考訳（メタデータ） (2022-04-12T16:50:48Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳（メタデータ） (2022-01-28T05:53:28Z) - Robust Active Preference Elicitation [10.961537256186498]
ペアワイズ比較クエリを適度に数えることで、意思決定者の好みを抽出する問題について検討する。
私たちは、不足するリソースを割り当てるためのポリシーを選択する場合など、高利害ドメインのアプリケーションによって動機付けられています。
論文 参考訳（メタデータ） (2020-03-04T05:24:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。