論文の概要: Online Submission and Evaluation System Design for Competition Operations

• arxiv url: http://arxiv.org/abs/2507.17730v1
• Date: Wed, 23 Jul 2025 17:44:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:15.115608
• Title: Online Submission and Evaluation System Design for Competition Operations
• Title（参考訳）: コンペティション運用のためのオンライン提出・評価システム設計
• Authors: Zhe Chen, Daniel Harabor, Ryan Hechnenberger, Nathan R. Sturtevant,
• Abstract要約: 本稿では,コンペティションの提出と評価を自動化するオンラインコンペティションシステムを提案する。 このシステムは、グリッドベースのパスフィニングコンペティションやLeague of Robot Runnersコンペティションなど、いくつかのコンペティションですでに成功している。
• 参考スコア（独自算出の注目度）: 16.589706967125252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research communities have developed benchmark datasets across domains to compare the performance of algorithms and techniques However, tracking the progress in these research areas is not easy, as publications appear in different venues at the same time, and many of them claim to represent the state-of-the-art. To address this, research communities often organise periodic competitions to evaluate the performance of various algorithms and techniques, thereby tracking advancements in the field. However, these competitions pose a significant operational burden. The organisers must manage and evaluate a large volume of submissions. Furthermore, participants typically develop their solutions in diverse environments, leading to compatibility issues during the evaluation of their submissions. This paper presents an online competition system that automates the submission and evaluation process for a competition. The competition system allows organisers to manage large numbers of submissions efficiently, utilising isolated environments to evaluate submissions. This system has already been used successfully for several competitions, including the Grid-Based Pathfinding Competition and the League of Robot Runners competition.
• Abstract（参考訳）: 研究コミュニティは、アルゴリズムとテクニックのパフォーマンスを比較するために、ドメイン全体でベンチマークデータセットを開発したが、これらの研究領域の進捗を追跡するのは容易ではない。 これを解決するために、研究コミュニティはしばしば、様々なアルゴリズムや技術の性能を評価するために定期的な競争を組織し、フィールドの進歩を追跡する。 しかし、これらの競技会は大きな運用上の負担を被る。 主催者は大量の提出を管理・評価しなければならない。 さらに、参加者は様々な環境でソリューションを開発し、応募の評価中に互換性の問題を引き起こすのが一般的である。 本稿では,コンペティションの提出と評価を自動化するオンラインコンペティションシステムを提案する。 競争システムにより、組織は大量の提出を効率的に管理でき、独立した環境を利用して提出を評価できる。 このシステムは、グリッドベースのパスフィニングコンペティションや、League of Robot Runnersコンペティションなど、いくつかのコンペティションですでに成功している。

関連論文リスト

• Are we making progress in unlearning? Findings from the first NeurIPS unlearning competition [70.60872754129832]
  アンラーニングに関する最初のNeurIPSコンペティションは、新しいアルゴリズムの開発を刺激しようとした。 世界中から約1200チームが参加した。 トップソリューションを分析し、アンラーニングのベンチマークに関する議論を掘り下げます。
  論文  参考訳（メタデータ） (2024-06-13T12:58:00Z)
• Analysis of Systems' Performance in Natural Language Processing Competitions [6.197993866688085]
  本論文は,競技結果と競技成績を統計的に分析するための評価手法について述べる。 提案手法は,修正機構との比較や信頼区間の包含など,いくつかの利点がある。 本分析は,競争結果を効果的に評価するための方法論の有用性を示す。
  論文  参考訳（メタデータ） (2024-03-07T17:42:40Z)
• Benchmarking Robustness and Generalization in Multi-Agent Systems: A Case Study on Neural MMO [50.58083807719749]
  IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。 この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。 環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
  論文  参考訳（メタデータ） (2023-08-30T07:16:11Z)
• Competitions in AI -- Robustly Ranking Solvers Using Statistical Resampling [9.02080113915613]
  比較結果の標準的な解釈から得られたランキングは、評価の基礎として使われるベンチマークインスタンスセットのマイナーな変更にも非常に敏感であることを示す。 本稿では,性能データの再サンプリングに基づく競争結果の統計的に有意な分析手法を提案する。 提案手法は,競合スコアの信頼区間を生成するとともに,有界誤差を持つ統計的に堅牢な解法ランキングを生成する。
  論文  参考訳（メタデータ） (2023-08-09T16:47:04Z)
• EFaR 2023: Efficient Face Recognition Competition [51.77649060180531]
  バイオメトリックス国際会議(IJCB 2023)における効率的な顔認識コンペティション(EFaR)の概要について述べる。 この競技会は6つの異なるチームから17の応募を受けた。 提案したソリューションは、様々なベンチマークで達成された検証精度の重み付けスコアと、浮動小数点演算数とモデルサイズによって与えられるデプロイ可能性に基づいてランク付けされる。
  論文  参考訳（メタデータ） (2023-08-08T09:58:22Z)
• ICDAR 2023 Competition on Hierarchical Text Detection and Recognition [60.68100769639923]
  このコンペティションは、テキストの検出と認識を共同で行うディープラーニングモデルとシステムの研究を促進することを目的としている。 提案するコンペティション組織の詳細について,タスク,データセット,評価,スケジュールなどを紹介する。 大会期間中(2023年1月2日から2023年4月1日まで)、20チーム以上から少なくとも50人が提案された2つのタスクで応募された。
  論文  参考訳（メタデータ） (2023-05-16T18:56:12Z)
• A portfolio-based analysis method for competition results [0.8680676599607126]
  本稿では,コンペティションに参加する問題解決者のパフォーマンスを補完するポートフォリオベースの分析手法について述べる。 本手法はMiniZinc Challengesの結果に示され,ポートフォリオの観点から得られた新たな知見が提示される。
  論文  参考訳（メタデータ） (2022-05-30T20:20:45Z)
• Towards robust and domain agnostic reinforcement learning competitions [12.731614722371376]
  強化学習コンペティションは標準研究ベンチマークの基礎を形成している。 それにもかかわらず、ほとんどの課題は、同じ根本的な問題に悩まされている。 本稿では,これらの障壁を克服するアルゴリズムの開発を促進する,競争設計の新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:15:46Z)
• The MineRL 2020 Competition on Sample Efficient Reinforcement Learning using Human Priors [62.9301667732188]
  我々は,MineRLコンペティションの第2イテレーションを提案する。 競争の主な目標は、人間のデモンストレーションを効率的に活用できるアルゴリズムの開発を促進することです。 コンペティションは、データセットと環境のペアバージョンが複数提供される2ラウンドで構成されている。 各ラウンドの終わりに、競合他社はコンテナ化された学習アルゴリズムをaicrowdプラットフォームに提出する。
  論文  参考訳（メタデータ） (2021-01-26T20:32:30Z)
• Analysing Affective Behavior in the First ABAW 2020 Competition [49.90617840789334]
  ABAW(Affective Behavior Analysis in-the-Wild) 2020コンペティションは、3つの主要な行動タスクの自動分析を目的とした最初のコンペティションである。 アルゼンチンのブエノスアイレスで2020年5月に開催されたIEEE Face and Gesture Recognitionと共同で開催されるこのコンペティションについて説明する。 評価指標を概説し,ベースラインシステムとトップ3の実施するチームの方法論をチャレンジ毎に提示し,その結果を最終的に提示する。
  論文  参考訳（メタデータ） (2020-01-30T15:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。