論文の概要: A portfolio-based analysis method for competition results
- arxiv url: http://arxiv.org/abs/2205.15414v1
- Date: Mon, 30 May 2022 20:20:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 08:18:30.042203
- Title: A portfolio-based analysis method for competition results
- Title（参考訳）: ポートフォリオに基づく競争結果の分析手法
- Authors: Nguyen Dang
- Abstract要約: 本稿では,コンペティションに参加する問題解決者のパフォーマンスを補完するポートフォリオベースの分析手法について述べる。
本手法はMiniZinc Challengesの結果に示され,ポートフォリオの観点から得られた新たな知見が提示される。
- 参考スコア（独自算出の注目度）: 0.8680676599607126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Competitions such as the MiniZinc Challenges or the SAT competitions have
been very useful sources for comparing performance of different solving
approaches and for advancing the state-of-the-arts of the fields. Traditional
competition setting often focuses on producing a ranking between solvers based
on their average performance across a wide range of benchmark problems and
instances. While this is a sensible way to assess the relative performance of
solvers, such ranking does not necessarily reflect the full potential of a
solver, especially when we want to utilise a portfolio of solvers instead of a
single one for solving a new problem. In this paper, I will describe a
portfolio-based analysis method which can give complementary insights into the
performance of participating solvers in a competition. The method is
demonstrated on the results of the MiniZinc Challenges and new insights gained
from the portfolio viewpoint are presented.
- Abstract（参考訳）: MiniZinc Challenges や SAT コンペティションのようなコンペティションは、様々な解決手法のパフォーマンスを比較し、分野の最先端化に役立っている。
従来のコンペティション設定では、さまざまなベンチマーク問題やインスタンスの平均パフォーマンスに基づいて、ソルバ間のランキング作成に重点を置いていることが多い。
これは解決者の相対的な性能を評価するための合理的な方法であるが、そのようなランク付けは必ずしも解決者の潜在能力を反映するものではない。
本稿では,競争に参加するソルバのパフォーマンスについて,相補的な洞察を与えるポートフォリオベース分析手法について述べる。
本手法はMiniZinc Challengesの結果に示され,ポートフォリオの観点から得られた新たな知見が提示される。
関連論文リスト
- LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。
このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-03T18:12:29Z) - Are we making progress in unlearning? Findings from the first NeurIPS unlearning competition [70.60872754129832]
アンラーニングに関する最初のNeurIPSコンペティションは、新しいアルゴリズムの開発を刺激しようとした。
世界中から約1200チームが参加した。
トップソリューションを分析し、アンラーニングのベンチマークに関する議論を掘り下げます。
論文 参考訳（メタデータ） (2024-06-13T12:58:00Z) - Analysis of Systems' Performance in Natural Language Processing Competitions [6.197993866688085]
本論文は,競技結果と競技成績を統計的に分析するための評価手法について述べる。
提案手法は,修正機構との比較や信頼区間の包含など,いくつかの利点がある。
本分析は,競争結果を効果的に評価するための方法論の有用性を示す。
論文 参考訳（メタデータ） (2024-03-07T17:42:40Z) - CompeteSMoE -- Effective Training of Sparse Mixture of Experts via
Competition [52.2034494666179]
スパース・ミックス・オブ・エキスパート(SMoE)は、ネットワークの深さや幅を増大させる平均を超えた、モデルの複雑さをスケールアップする魅力的なソリューションを提供する。
本稿では,この表現崩壊の根本的な課題に対処する競合機構を提案する。
入力を最も高い神経応答を持つ専門家にのみルーティングすることにより、コンペティションが最適推定器と同じ収束率を持つことを示す。
論文 参考訳（メタデータ） (2024-02-04T15:17:09Z) - Benchmarking Robustness and Generalization in Multi-Agent Systems: A
Case Study on Neural MMO [50.58083807719749]
IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。
この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。
環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
論文 参考訳（メタデータ） (2023-08-30T07:16:11Z) - Competitions in AI -- Robustly Ranking Solvers Using Statistical
Resampling [9.02080113915613]
比較結果の標準的な解釈から得られたランキングは、評価の基礎として使われるベンチマークインスタンスセットのマイナーな変更にも非常に敏感であることを示す。
本稿では,性能データの再サンプリングに基づく競争結果の統計的に有意な分析手法を提案する。
提案手法は,競合スコアの信頼区間を生成するとともに,有界誤差を持つ統計的に堅牢な解法ランキングを生成する。
論文 参考訳（メタデータ） (2023-08-09T16:47:04Z) - EFaR 2023: Efficient Face Recognition Competition [51.77649060180531]
バイオメトリックス国際会議(IJCB 2023)における効率的な顔認識コンペティション(EFaR)の概要について述べる。
この競技会は6つの異なるチームから17の応募を受けた。
提案したソリューションは、様々なベンチマークで達成された検証精度の重み付けスコアと、浮動小数点演算数とモデルサイズによって与えられるデプロイ可能性に基づいてランク付けされる。
論文 参考訳（メタデータ） (2023-08-08T09:58:22Z) - Towards robust and domain agnostic reinforcement learning competitions [12.731614722371376]
強化学習コンペティションは標準研究ベンチマークの基礎を形成している。
それにもかかわらず、ほとんどの課題は、同じ根本的な問題に悩まされている。
本稿では,これらの障壁を克服するアルゴリズムの開発を促進する,競争設計の新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-06-07T16:15:46Z) - Weight-Sharing Neural Architecture Search: A Battle to Shrink the
Optimization Gap [90.93522795555724]
ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。
重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。
本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
論文 参考訳（メタデータ） (2020-08-04T11:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。