論文の概要: A Bayesian Bradley-Terry model to compare multiple ML algorithms on multiple data sets

• arxiv url: http://arxiv.org/abs/2208.04935v1
• Date: Tue, 9 Aug 2022 17:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-10 12:27:51.318179
• Title: A Bayesian Bradley-Terry model to compare multiple ML algorithms on multiple data sets
• Title（参考訳）: ベイジアンブラッドレー・テリーモデルによる複数データセット上の複数のMLアルゴリズムの比較
• Authors: Jacques Wainer
• Abstract要約: 本稿では, ベイズモデルを用いて, 複数のデータセット上で, 任意の距離で複数のアルゴリズムを比較する。 このモデルはBradley-Terryモデルに基づいており、1つのアルゴリズムが異なるデータセットで他のアルゴリズムよりも優れている回数を数えている。
• 参考スコア（独自算出の注目度）: 4.394728504061753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a Bayesian model to compare multiple algorithms on multiple data sets, on any metric. The model is based on the Bradley-Terry model, that counts the number of times one algorithm performs better than another on different data sets. Because of its Bayesian foundations, the Bayesian Bradley Terry model (BBT) has different characteristics than frequentist approaches to comparing multiple algorithms on multiple data sets, such as Demsar (2006) tests on mean rank, and Benavoli et al. (2016) multiple pairwise Wilcoxon tests with p-adjustment procedures. In particular, a Bayesian approach allows for more nuanced statements regarding the algorithms beyond claiming that the difference is or it is not statistically significant. Bayesian approaches also allow to define when two algorithms are equivalent for practical purposes, or the region of practical equivalence (ROPE). Different than a Bayesian signed rank comparison procedure proposed by Benavoli et al. (2017), our approach can define a ROPE for any metric, since it is based on probability statements, and not on differences of that metric. This paper also proposes a local ROPE concept, that evaluates whether a positive difference between a mean measure across some cross validation to the mean of some other algorithms is should be really seen as the first algorithm being better than the second, based on effect sizes. This local ROPE proposal is independent of a Bayesian use, and can be used in frequentist approaches based on ranks. A R package and a Python program that implements the BBT is available.
• Abstract（参考訳）: 本稿では,複数のデータ集合上の複数のアルゴリズムを任意のメトリックで比較するベイズモデルを提案する。 このモデルはBradley-Terryモデルに基づいており、1つのアルゴリズムが異なるデータセットで他のアルゴリズムよりも優れている回数を数えている。 ベイジアンの基礎があるため、ベイジアン・ブラッドリー・テリー・モデル(bbt)は、平均階数に関するdemsar(2006年)テストや、p-調整手順を用いたbenavoli et al.(2016年)など、複数のデータセットにおける複数のアルゴリズムを比較する、頻繁なアプローチとは異なる特徴を持つ。 特にベイズ的アプローチでは、差が統計的に有意でないと主張すること以外、アルゴリズムに関するよりニュアンスな言明が可能である。 ベイズ的アプローチは、2つのアルゴリズムが実用目的に等価である場合や、実用的な等価領域(ROPE)を定義することもできる。 Benavoli et al. (2017) によって提案されたベイズ符号付きランク比較法とは異なり、この手法は任意の計量に対してROPEを定義することができる。 本稿ではまた,あるクロス検証平均値と他のアルゴリズムの平均値との正の差が,効果サイズに基づいて第1のアルゴリズムが第2のアルゴリズムよりも優れていると見なされるべきかどうかを評価する局所ロープの概念を提案する。 この局所ROPE提案はベイズ的使用とは独立であり、ランクに基づく頻繁なアプローチで使用することができる。 RパッケージとBBTを実装するPythonプログラムが利用可能である。

関連論文リスト

• HARRIS: Hybrid Ranking and Regression Forests for Algorithm Selection [75.84584400866254]
  両アプローチの強みを両アプローチの弱さを緩和しつつ組み合わせ, 特殊林を利用した新しいアルゴリズムセレクタを提案する。 HARRISの決定は、ハイブリッドランキングと回帰損失関数に基づいて最適化された木を作成する森林モデルに基づいている。
  論文  参考訳（メタデータ） (2022-10-31T14:06:11Z)
• Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
  SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。 厳密な手法により分類性能は向上するが、計算コストが高い。 本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
  論文  参考訳（メタデータ） (2022-09-11T22:44:19Z)
• Efficient computation of rankings from pairwise comparisons [0.0]
  我々は、同じ結果を返すが、はるかに高速な代替かつ同様の単純なイテレーションについて記述する。 本稿では,このアルゴリズムをサンプルデータセットに適用し,その収束性に関する多くの結果を導出する。
  論文  参考訳（メタデータ） (2022-06-30T19:39:09Z)
• Ranking with Confidence for Large Scale Comparison Data [1.2183405753834562]
  本研究では、比較ノイズを考慮した生成データモデルを用いて、ペア比較から高速で正確で情報的なランク付けを行う。 実データでは、PD-Rankは、アクティブな学習方法よりも同じKendallアルゴリズムを達成するのに、計算時間が少ない。
  論文  参考訳（メタデータ） (2022-02-03T16:36:37Z)
• Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information [78.78486761923855]
  多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。 本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。 これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
  論文  参考訳（メタデータ） (2021-04-19T17:22:11Z)
• The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes [1.827510863075184]
  このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。 この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
  論文  参考訳（メタデータ） (2020-07-03T11:31:52Z)
• Approximating a Target Distribution using Weight Queries [25.392248158616862]
  本稿では,データセットの例を反復的に選択し,対応する重み付けクエリを実行する対話型アルゴリズムを提案する。 我々は,アルゴリズムが検出した再重み付けと,最も達成可能な再重み付けとの間の全変動距離に依存する近似を導出する。
  論文  参考訳（メタデータ） (2020-06-24T11:17:43Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Active Sampling for Pairwise Comparisons via Approximate Message Passing and Information Gain Maximization [5.771869590520189]
  本稿では、近似メッセージパッシングと期待情報ゲインに基づくアクティブサンプリングアルゴリズムASAPを提案する。 既存の手法と比較して,ASAPは推定スコアの精度が最も高いことを示す。
  論文  参考訳（メタデータ） (2020-04-12T20:48:10Z)
• LSF-Join: Locality Sensitive Filtering for Distributed All-Pairs Set Similarity Under Skew [58.21885402826496]
  全ペアセットの類似性は、大規模で高次元のデータセットであっても広く使われているデータマイニングタスクである。 我々は,全対集合の類似性を近似するために,新しい分散アルゴリズム LSF-Join を提案する。 LSF-Joinは、小さな類似度閾値やスキュー入力セットであっても、最も近いペアを効率的に見つける。
  論文  参考訳（メタデータ） (2020-03-06T00:06:20Z)
• Ranking a set of objects: a graph based least-square approach [70.7866286425868]
  同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。 品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。