論文の概要: How to Evaluate Solutions in Pareto-based Search-Based Software
Engineering? A Critical Review and Methodological Guidance
- arxiv url: http://arxiv.org/abs/2002.09040v4
- Date: Sat, 28 Nov 2020 13:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 08:00:35.142854
- Title: How to Evaluate Solutions in Pareto-based Search-Based Software
Engineering? A Critical Review and Methodological Guidance
- Title(参考訳): パレートベースの検索ベースソフトウェアエンジニアリングにおけるソリューションの評価方法
批判的レビューと方法論指導
- Authors: Miqing Li and Tao Chen and Xin Yao
- Abstract要約: 本稿では,検索ベースSEにおける多目的最適化の品質評価について検討する。
SBSEにおける品質評価指標/手法と一般的な状況の詳細な分析を行う。
異なるSBSEシナリオにおける評価手法の選択と利用のための方法論的ガイダンスをコーデレートする。
- 参考スコア(独自算出の注目度): 9.040916182677963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With modern requirements, there is an increasing tendency of considering
multiple objectives/criteria simultaneously in many Software Engineering (SE)
scenarios. Such a multi-objective optimization scenario comes with an important
issue -- how to evaluate the outcome of optimization algorithms, which
typically is a set of incomparable solutions (i.e., being Pareto non-dominated
to each other). This issue can be challenging for the SE community,
particularly for practitioners of Search-Based SE (SBSE). On one hand,
multi-objective optimization could still be relatively new to SE/SBSE
researchers, who may not be able to identify the right evaluation methods for
their problems. On the other hand, simply following the evaluation methods for
general multi-objective optimization problems may not be appropriate for
specific SE problems, especially when the problem nature or decision maker's
preferences are explicitly/implicitly available. This has been well echoed in
the literature by various inappropriate/inadequate selection and
inaccurate/misleading use of evaluation methods. In this paper, we first carry
out a systematic and critical review of quality evaluation for multi-objective
optimization in SBSE. We survey 717 papers published between 2009 and 2019 from
36 venues in seven repositories, and select 95 prominent studies, through which
we identify five important but overlooked issues in the area. We then conduct
an in-depth analysis of quality evaluation indicators/methods and general
situations in SBSE, which, together with the identified issues, enables us to
codify a methodological guidance for selecting and using evaluation methods in
different SBSE scenarios.
- Abstract(参考訳): 現代の要件では、多くのソフトウェアエンジニアリング(SE)シナリオにおいて、複数の目標/基準を同時に検討する傾向が高まっています。
このような多目的最適化シナリオには重要な問題があり、最適化アルゴリズムの結果をどのように評価するかが問題となる。
この問題はSEコミュニティ、特に検索ベースSE(SBSE)の実践者にとって難しい。
一方、多目的最適化はSE/SBSE研究者にとって比較的新しいものであり、それらの問題に対する適切な評価方法を特定できない可能性がある。
一方、一般的な多目的最適化問題に対する評価手法に従うだけでは、特に問題の性質や意思決定者の好みが明確かつ単純である場合、特定のSE問題には適さない。
これは、様々な不適切な、不適切な選択と不正確な評価方法の使用によって、文献によく反映されている。
本稿では,SBSEにおける多目的最適化のための品質評価の体系的かつ批判的なレビューを行う。
2009年から2019年にかけて、36の会場から7つのレポジトリから717の論文を調査し、95の著名な研究を選定した。
次に、SBSEにおける品質評価指標/手法と一般的な状況の詳細な分析を行い、特定された問題とともに、異なるSBSEシナリオにおける評価方法の選択と利用のための方法論的ガイダンスを定式化することができる。
関連論文リスト
- Multiobjective Optimization Analysis for Finding Infrastructure-as-Code
Deployment Configurations [0.3774866290142281]
本稿では,インフラストラクチャ・アズ・コード配置に関する多目的問題に焦点をあてる。
本稿では,9種類の進化型多目的アルゴリズムについて述べる。
フリードマンの非パラメトリックテストを用いて, 独立ランニング後の各手法の結果を比較した。
論文 参考訳(メタデータ) (2024-01-18T13:55:32Z) - Rethinking and Benchmarking Predict-then-Optimize Paradigm for
Combinatorial Optimization Problems [62.25108152764568]
多くのWebアプリケーションは、エネルギーコストを考慮したスケジューリング、Web広告の予算配分、ソーシャルネットワークでのグラフマッチングなど、最適化問題の解決に頼っている。
統一システムにおける予測と意思決定の性能について考察する。
我々は、現在のアプローチを包括的に分類し、既存の実験シナリオを統合する。
論文 参考訳(メタデータ) (2023-11-13T13:19:34Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Best-Effort Adaptation [62.00856290846247]
本稿では, 試料再重み付け法に関する新しい理論的解析を行い, 試料再重み付け法を一様に保持する境界について述べる。
これらの境界が、我々が詳細に議論する学習アルゴリズムの設計を導く方法を示す。
本稿では,本アルゴリズムの有効性を実証する一連の実験結果について報告する。
論文 参考訳(メタデータ) (2023-05-10T00:09:07Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳(メタデータ) (2023-02-06T16:55:37Z) - On solving decision and risk management problems subject to uncertainty [91.3755431537592]
不確実性は意思決定とリスク管理において広範囲にわたる課題である。
本稿では,このような戦略を体系的に理解し,その適用範囲を判断し,それらをうまく活用するための枠組みを開発する。
論文 参考訳(メタデータ) (2023-01-18T19:16:23Z) - Uncertainty-Aware Search Framework for Multi-Objective Bayesian
Optimization [40.40632890861706]
高価な関数評価を用いたマルチオブジェクト(MO)ブラックボックス最適化の問題点を考察する。
UeMOと呼ばれる新しい不確実性対応検索フレームワークを提案し、評価のための入力シーケンスを効率的に選択する。
論文 参考訳(メタデータ) (2022-04-12T16:50:48Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳(メタデータ) (2022-01-28T05:53:28Z) - Dealing with Expert Bias in Collective Decision-Making [4.588028371034406]
本稿では,コンテキスト型マルチアームバンディット問題(CMAB)に基づく新たなアルゴリズムアプローチを提案する。
CMABにインスパイアされた新しいアプローチは、従来の適応アルゴリズムよりも高速に収束しながら、より高い最終性能を達成する。
論文 参考訳(メタデータ) (2021-06-25T10:17:37Z) - Robust Active Preference Elicitation [10.961537256186498]
ペアワイズ比較クエリを適度に数えることで、意思決定者の好みを抽出する問題について検討する。
私たちは、不足するリソースを割り当てるためのポリシーを選択する場合など、高利害ドメインのアプリケーションによって動機付けられています。
論文 参考訳(メタデータ) (2020-03-04T05:24:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。