論文の概要: Comparison of classifiers in challenge scheme

• arxiv url: http://arxiv.org/abs/2305.10452v1
• Date: Tue, 16 May 2023 23:38:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 18:56:33.711417
• Title: Comparison of classifiers in challenge scheme
• Title（参考訳）: チャレンジスキームにおける分類器の比較
• Authors: Sergio Nava-Mu\~noz and Mario Graff Guerrero and Hugo Jair Escalante
• Abstract要約: 本稿では,MeOffendEs@IberLEF 2021コンペティションの結果を分析する。 チャレンジ主催者の意思決定を支援するために,再サンプリング技術(ブートストラップ)による推論を提案する。
• 参考スコア（独自算出の注目度）: 12.030094148004176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent decades, challenges have become very popular in scientific research as these are crowdsourcing schemes. In particular, challenges are essential for developing machine learning algorithms. For the challenges settings, it is vital to establish the scientific question, the dataset (with adequate quality, quantity, diversity, and complexity), performance metrics, as well as a way to authenticate the participants' results (Gold Standard). This paper addresses the problem of evaluating the performance of different competitors (algorithms) under the restrictions imposed by the challenge scheme, such as the comparison of multiple competitors with a unique dataset (with fixed size), a minimal number of submissions and, a set of metrics chosen to assess performance. The algorithms are sorted according to the performance metric. Still, it is common to observe performance differences among competitors as small as hundredths or even thousandths, so the question is whether the differences are significant. This paper analyzes the results of the MeOffendEs@IberLEF 2021 competition and proposes to make inference through resampling techniques (bootstrap) to support Challenge organizers' decision-making.
• Abstract（参考訳）: 近年,クラウドソーシングの手法として,科学研究における課題が注目されている。 特に、機械学習アルゴリズムの開発には課題が不可欠である。 課題の設定については、科学的問題、データセット(適切な品質、量、多様性、複雑さ)、パフォーマンスメトリクス、そして参加者の結果(ゴールド標準)を認証する方法を確立することが不可欠である。 本稿では,複数のコンペティタとユニークなデータセット(固定サイズ)の比較,提出回数の最小化,パフォーマンス評価のために選択されたメトリクスのセットなど,チャレンジスキームによって課される制約の下で,さまざまなコンペティタ(アルゴリズム)のパフォーマンスを評価する問題に対処する。 アルゴリズムは性能指標に従ってソートされる。 それでも、100分の1か1000分の1程度の競争相手間のパフォーマンスの差を観察することが一般的であり、その差が重要であるかどうかが問題となる。 本稿では,MeOffendEs@IberLEF 2021コンペティションの結果を分析し,チャレンジ主催者の意思決定を支援するために,再サンプリング技術(ブートストラップ)による推論を提案する。

関連論文リスト

• Analysis of Systems' Performance in Natural Language Processing Competitions [6.197993866688085]
  本論文は,競技結果と競技成績を統計的に分析するための評価手法について述べる。 提案手法は,修正機構との比較や信頼区間の包含など,いくつかの利点がある。 本分析は,競争結果を効果的に評価するための方法論の有用性を示す。
  論文  参考訳（メタデータ） (2024-03-07T17:42:40Z)
• Benchmarking Robustness and Generalization in Multi-Agent Systems: A Case Study on Neural MMO [50.58083807719749]
  IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。 この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。 環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
  論文  参考訳（メタデータ） (2023-08-30T07:16:11Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Competitions in AI -- Robustly Ranking Solvers Using Statistical Resampling [9.02080113915613]
  比較結果の標準的な解釈から得られたランキングは、評価の基礎として使われるベンチマークインスタンスセットのマイナーな変更にも非常に敏感であることを示す。 本稿では,性能データの再サンプリングに基づく競争結果の統計的に有意な分析手法を提案する。 提案手法は,競合スコアの信頼区間を生成するとともに,有界誤差を持つ統計的に堅牢な解法ランキングを生成する。
  論文  参考訳（メタデータ） (2023-08-09T16:47:04Z)
• EFaR 2023: Efficient Face Recognition Competition [51.77649060180531]
  バイオメトリックス国際会議(IJCB 2023)における効率的な顔認識コンペティション(EFaR)の概要について述べる。 この競技会は6つの異なるチームから17の応募を受けた。 提案したソリューションは、様々なベンチマークで達成された検証精度の重み付けスコアと、浮動小数点演算数とモデルサイズによって与えられるデプロイ可能性に基づいてランク付けされる。
  論文  参考訳（メタデータ） (2023-08-08T09:58:22Z)
• A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。 2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• A portfolio-based analysis method for competition results [0.8680676599607126]
  本稿では,コンペティションに参加する問題解決者のパフォーマンスを補完するポートフォリオベースの分析手法について述べる。 本手法はMiniZinc Challengesの結果に示され,ポートフォリオの観点から得られた新たな知見が提示される。
  論文  参考訳（メタデータ） (2022-05-30T20:20:45Z)
• Team Cogitat at NeurIPS 2021: Benchmarks for EEG Transfer Learning Competition [55.34407717373643]
  脳波復号のための主題に依存しないディープラーニングモデルの構築は、強い共シフトの課題に直面している。 我々のアプローチは、ディープラーニングモデルの様々な層に特徴分布を明示的に整列させることです。 この方法論は、NeurIPSカンファレンスで開催されている2021年のEEG Transfer Learningコンペティションで優勝した。
  論文  参考訳（メタデータ） (2022-02-01T11:11:08Z)
• Investigating Class-level Difficulty Factors in Multi-label Classification Problems [23.51529285126783]
  本研究は,マルチラベル分類問題におけるクラスレベルの難易度因子の利用を初めて検討する。 周波数、視覚的変化、セマンティック抽象化、クラス共起の4つの困難因子が提案されている。 これらの困難因子は、データセット間でのクラスレベルのパフォーマンスの予測など、いくつかの潜在的な応用があることが示されている。
  論文  参考訳（メタデータ） (2020-05-01T15:06:53Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。