論文の概要: Who is the Winning Algorithm? Rank Aggregation for Comparative Studies
- arxiv url: http://arxiv.org/abs/2601.01664v1
- Date: Sun, 04 Jan 2026 20:52:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:22.629089
- Title: Who is the Winning Algorithm? Rank Aggregation for Comparative Studies
- Title（参考訳）: 勝者アルゴリズムとは何か? 比較研究のためのランクアグリゲーション
- Authors: Amichai Painsky,
- Abstract要約: 本稿では,各mアルゴリズムの勝利確率を推定するための新しい概念的枠組みを提案する。
提案手法は,現在知られている合成実例と実例において,大幅に改善されている。
- 参考スコア（独自算出の注目度）: 4.501091570166657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Consider a collection of m competing machine learning algorithms. Given their performance on a benchmark of datasets, we would like to identify the best performing algorithm. Specifically, which algorithm is most likely to ``win'' (rank highest) on a future, unseen dataset. The standard maximum likelihood approach suggests counting the number of wins per each algorithm. In this work, we argue that there is much more information in the complete rankings. That is, the number of times that each algorithm finished second, third and so forth. Yet, it is not entirely clear how to effectively utilize this information for our purpose. In this work we introduce a novel conceptual framework for estimating the win probability for each of the m algorithms, given their complete rankings over a benchmark of datasets. Our proposed framework significantly improves upon currently known methods in synthetic and real-world examples.
- Abstract（参考訳）: m競合する機械学習アルゴリズムの集合を考える。
データセットのベンチマークでのパフォーマンスを考えると、最高のパフォーマンスのアルゴリズムを特定したいと思います。
具体的には、将来、目に見えないデータセットで、どのアルゴリズムが'win'(最高ランク)になる可能性が高い。
標準的な最大可能性のアプローチは、各アルゴリズムに当たりの勝利の数を数えることを提案する。
この研究では、完全なランキングにはもっと多くの情報が存在すると論じる。
つまり、各アルゴリズムが2回、3回以上終えた回数です。
しかし、この情報を我々の目的のために効果的に活用する方法は明らかになっていない。
本研究では,各mアルゴリズムの勝利確率を推定するための新しい概念的枠組みを導入する。
提案手法は,現在知られている合成実例と実例において,大幅に改善されている。
関連論文リスト
- Near Optimal Inference for the Best-Performing Algorithm [6.5268245109828005]
本稿では,サブセット選択問題に対する新しい枠組みを提案する。
我々は、現在知られている手法を大幅に改善する高信頼と有限サンプルスキームを提供する。
論文 参考訳（メタデータ） (2025-08-07T09:08:06Z) - Finding a Fair Scoring Function for Top-$k$ Selection: From Hardness to Practice [0.0]
我々は、上位k$選択のための公平な線形スコアリング関数を同定する問題に対処する。
既存のアルゴリズムは特に高次元において効率的にスケールしない。
我々は、この効率のポテンシャルを、実用的なパフォーマンス向上を実現する最適化されたアルゴリズムに変える。
論文 参考訳（メタデータ） (2025-03-14T16:40:36Z) - A Novel Ranking Scheme for the Performance Analysis of Stochastic Optimization Algorithms using the Principles of Severity [9.310464457958844]
複数の単目的最適化問題に対してアルゴリズムをランク付けする新しいランキング方式を提案する。
アルゴリズムの結果は、ロバストなブートストラップに基づく仮説テスト手法を用いて比較される。
論文 参考訳（メタデータ） (2024-05-31T19:35:34Z) - On Universally Optimal Algorithms for A/B Testing [49.429419538826444]
ベルヌーイ報奨を伴う多腕バンディットにおける固定予算によるベストアーム識別の問題について検討する。
A/Bテスト問題としても知られる2つのアームの問題に対して,各アームを等しくサンプリングするアルゴリズムが存在しないことを証明した。
論文 参考訳（メタデータ） (2023-08-23T08:38:53Z) - A Gold Standard Dataset for the Reviewer Assignment Problem [70.45113777449373]
類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。
既存のアルゴリズムを比較し、より良いアルゴリズムを開発する上で重要な課題は、公開された金標準データの欠如である。
研究コミュニティにリリースした類似度スコアの新しいデータセットを収集します。
論文 参考訳（メタデータ） (2023-03-23T16:15:03Z) - A Framework and Benchmarking Study for Counterfactual Generating Methods
on Tabular Data [0.0]
カウンターファクトな説明は、機械学習の予測を説明する効果的な方法と見なされる。
このような説明を導き出そうとするアルゴリズムは、すでに数十ある。
ベンチマーク研究とフレームワークは、実践者がどのテクニックとビルディングブロックが最も適しているかを決定するのに役立ちます。
論文 参考訳（メタデータ） (2021-07-09T21:06:03Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳（メタデータ） (2021-05-23T19:21:55Z) - Double Coverage with Machine-Learned Advice [100.23487145400833]
オンラインの基本的な$k$-serverの問題を学習強化環境で研究する。
我々のアルゴリズムは任意の k に対してほぼ最適の一貫性-破壊性トレードオフを達成することを示す。
論文 参考訳（メタデータ） (2021-03-02T11:04:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。