論文の概要: On Statistical Analysis of MOEAs with Multiple Performance Indicators
- arxiv url: http://arxiv.org/abs/2012.00886v1
- Date: Tue, 1 Dec 2020 23:12:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-22 11:49:59.486324
- Title: On Statistical Analysis of MOEAs with Multiple Performance Indicators
- Title（参考訳）: 複数性能指標を用いたMOEAの統計的解析
- Authors: Hao Wang and Carlos Igncio Hern\'andez Castellanos and Tome Eftimov
- Abstract要約: 実験データを報告する際には、世代間距離やハイパーボリュームなどの複数のパフォーマンス指標が頻繁に適用される。
本稿では,データの潜在的な差を検出するために,性能指標の同時分布に関する$mathcalE$-testを提案する。
この性能解析の有効性は、4つのアルゴリズム、16の課題、6の異なる目標に対して行われた実験によって支持される。
- 参考スコア（独自算出の注目度）: 3.508346077709686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Assessing the empirical performance of Multi-Objective Evolutionary
Algorithms (MOEAs) is vital when we extensively test a set of MOEAs and aim to
determine a proper ranking thereof. Multiple performance indicators, e.g., the
generational distance and the hypervolume, are frequently applied when
reporting the experimental data, where typically the data on each indicator is
analyzed independently from other indicators. Such a treatment brings
conceptual difficulties in aggregating the result on all performance
indicators, and it might fail to discover significant differences among
algorithms if the marginal distributions of the performance indicator overlap.
Therefore, in this paper, we propose to conduct a multivariate
$\mathcal{E}$-test on the joint empirical distribution of performance
indicators to detect the potential difference in the data, followed by a
post-hoc procedure that utilizes the linear discriminative analysis to
determine the superiority between algorithms. This performance analysis's
effectiveness is supported by an experimentation conducted on four algorithms,
16 problems, and 6 different numbers of objectives.
- Abstract（参考訳）: 多目的進化アルゴリズム(MOEA)の実証的性能を評価することは、MOEAの集合を広範囲にテストし、その適切なランキングを決定するために重要である。
実験データを報告する際には、世代間距離やハイパーボリュームなどの複数のパフォーマンス指標が頻繁に適用され、通常、各指標のデータは他の指標から独立して分析される。
このような処理は、すべての性能指標に結果を集約する上で概念的な困難をもたらし、性能指標の限界分布が重なり合う場合、アルゴリズム間で大きな違いを見出すことができない可能性がある。
そこで本稿では,性能指標の合同実験分布について多変量$\mathcal{e}$-testを行い,データの電位差を検出し,線形判別分析を用いてアルゴリズム間の優越性を決定するポストホック手法を提案する。
この性能解析の有効性は、4つのアルゴリズム、16の課題、6の異なる目標に対して行われた実験によって支持される。
関連論文リスト
- LMEMs for post-hoc analysis of HPO Benchmarking [38.39259273088395]
我々は,HPOベンチマークの実行後解析に線形混合効果モデル(LMEM)の意義試験を適用した。
LMEMは、ベンチマークメタ機能などの情報を含む実験データ全体のフレキシブルで表現力のあるモデリングを可能にする。
本稿では,本論文で報告されていない知見を見つけるために,PresideBand論文の実験データに関するケーススタディを通じてこれを実証する。
論文 参考訳（メタデータ） (2024-08-05T15:03:19Z) - Exploring the Performance of Continuous-Time Dynamic Link Prediction Algorithms [14.82820088479196]
ダイナミックリンク予測(DLP)は、進化するネットワークにおける将来のリンクの予測に対処する。
本研究では,このような総合的な評価を行うためのツールをコントリビュートする。
評価時に使用可能な陰性サンプリング手法の網羅的な分類法について述べる。
論文 参考訳（メタデータ） (2024-05-27T14:03:28Z) - PULASki: Learning inter-rater variability using statistical distances to
improve probabilistic segmentation [36.136619420474766]
本稿では,専門家アノテーションの変動を正確に捉えるバイオメディカルイメージセグメンテーションのためのPULASkiを提案する。
提案手法では,条件付き変分オートエンコーダ構造における統計的距離に基づいて,損失関数を改良した。
また,本手法は多ラベルセグメンテーションタスクにも適用可能であり,血行動態モデリングなどの下流タスクにも有用である。
論文 参考訳（メタデータ） (2023-12-25T10:31:22Z) - Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。
認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。
我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-07-14T03:15:56Z) - Benchmarking Node Outlier Detection on Graphs [90.29966986023403]
グラフの外れ値検出は、多くのアプリケーションにおいて、新しいが重要な機械学習タスクである。
UNODと呼ばれるグラフに対して、最初の包括的教師なしノード外乱検出ベンチマークを示す。
論文 参考訳（メタデータ） (2022-06-21T01:46:38Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Explaining medical AI performance disparities across sites with
confounder Shapley value analysis [8.785345834486057]
マルチサイト評価は、このような格差を診断する鍵となる。
本フレームワークは,各種類のバイアスが全体の性能差に与える影響を定量化する手法を提供する。
本研究は, 深部学習モデルを用いて気胸の有無を検知し, その有用性を実証するものである。
論文 参考訳（メタデータ） (2021-11-12T18:54:10Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳（メタデータ） (2021-07-28T13:21:27Z) - Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。
トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。
トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
論文 参考訳（メタデータ） (2021-04-16T03:54:21Z) - Through the Data Management Lens: Experimental Analysis and Evaluation
of Fair Classification [75.49600684537117]
データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。
我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。
我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
論文 参考訳（メタデータ） (2021-01-18T22:55:40Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。