論文の概要: The Design and Organization of Educational Competitions with Anonymous
and Real-Time Leaderboards in Academic and Industrial Settings
- arxiv url: http://arxiv.org/abs/2402.07936v1
- Date: Wed, 7 Feb 2024 15:52:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 13:28:47.836711
- Title: The Design and Organization of Educational Competitions with Anonymous
and Real-Time Leaderboards in Academic and Industrial Settings
- Title（参考訳）: 学術・産業分野における匿名・リアルタイムリーダーボードによる教育コンペティションのデザインと組織
- Authors: Serdar Kad{\i}o\u{g}lu, Bernard Kleynhans
- Abstract要約: 本稿の目的は、匿名および(ほぼ)リアルタイムのリーダーボードによる教育コンペのデザインと組織化における私たちの経験を共有することである。
まず、まず、チーム登録、データアクセス、提出システム、ルール、そしてそのようなイベントを計画する際に組織が考慮すべき条件など、いくつかの重要な分野について概説する。
次に、匿名のリーダーボードに対する(ほぼ)リアルタイムな評価を支援する高レベルのシステム設計を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The goal of this paper is to share our experience in designing and organizing
educational competitions with anonymous and (near) real-time leaderboards in
both academic and industrial settings. While such competitions serve as a great
educational tool and provide participants with hands-on experience, they
require significant planning, technical setup, and administration from
organizers. In this paper, we first outline several important areas including
team registration, data access, submission systems, rules and conditions that
organizers should consider when planning such events. We then present a
high-level system design that can support (near) real-time evaluation of
submissions to power anonymous leaderboards and provide immediate feedback for
participants. Finally, we share our experience applying this abstract system in
academic and industrial settings. We hope the set of guidelines and the
high-level system design proposed here help others in their organization of
similar educational events.
- Abstract（参考訳）: 本論文の目的は、匿名および(ほぼ)リアルタイムのリーダーボードを学術的・産業的に構成した教育コンペティションの設計と組織化の経験を共有することである。
このようなコンペは優れた教育ツールであり、参加者にハンズオン体験を提供する一方で、重要な計画、技術的セットアップ、主催者による管理が必要である。
本稿ではまず,このようなイベントを企画する上で,主催者が考慮すべきルールと条件について,チーム登録,データアクセス,提出システム,ルール,条件など,いくつかの重要な領域を概説する。
次に、匿名のリーダーボードへの提出をリアルタイムに(ほぼ)支援し、参加者に即座にフィードバックを提供する高レベルのシステム設計を提案する。
最後に,この抽象システムを学術的・産業的に応用した経験について述べる。
ここで提案されているガイドラインと高レベルのシステム設計が、同様の教育イベントの組織化に役立てることを願っています。
関連論文リスト
- Efficient Performance Tracking: Leveraging Large Language Models for Automated Construction of Scientific Leaderboards [67.65408769829524]
科学的リーダーボードは、競争方法の評価と比較を容易にする標準化されたランキングシステムである。
出版物の増加により、これらのリーダーボードを手動で構築し維持することは不可能になった。
手作業の削減の解決策として リーダーボードの 自動構築が登場しました
論文 参考訳（メタデータ） (2024-09-19T11:12:27Z) - Challenge design roadmap [0.25631808142941404]
この章は、挑戦のための強力な計画を作成するためのガイドラインを提供する。
これはKaggle 1やChaLearn 2といった組織による準備ガイドラインを引き合いに出している。
論文 参考訳（メタデータ） (2024-01-15T10:58:30Z) - How We Manage an Army of Teaching Assistants: Experience Report on
Scaling a CS1 Course [0.0]
入学数の増加は、コース管理において大きな課題となる。
チームの3層構造は、それぞれ経験豊富なリードTAがリードする。
コミュニケーション、コンテンツ、"失われた学生"サポート、盗作、スケジューリングの5つの機能チーム。
論文 参考訳（メタデータ） (2023-11-24T01:12:05Z) - Intelligent Tutoring System: Experience of Linking Software Engineering
and Programming Teaching [11.732008724228798]
自動グレードを処理する既存のシステムは、主にテストケースの実行の自動化に焦点を当てている。
我々は、自動フィードバックとグレーディングを提供するインテリジェントなチューリングシステムを構築しました。
論文 参考訳（メタデータ） (2023-10-09T07:28:41Z) - A Design and Development of Rubrics System for Android Applications [0.0]
本アプリケーションは,学生のパフォーマンスを視聴するためのユーザフレンドリーなインターフェースを提供することを目的としている。
我々のアプリケーションは、グレーティングシステムを容易にし、時間とリソースの面での有効性を高めることを約束します。
論文 参考訳（メタデータ） (2023-09-23T16:14:27Z) - Benchmarking Robustness and Generalization in Multi-Agent Systems: A
Case Study on Neural MMO [50.58083807719749]
IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。
この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。
環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
論文 参考訳（メタデータ） (2023-08-30T07:16:11Z) - Combining Gamification and Intelligent Tutoring Systems in a Serious
Game for Engineering Education [2.792030485253753]
本稿では,本ゲームに統合されたパーソナライズされた学習システムの開発から,現在進行中の結果について述べる。
コンピュータインテリジェンスを用いて,ゲーム内行動から収集したデータに基づいて,Webカメラ画像から感情状態を推定することにより,学生に適応的に支援を行う。
本研究では,個人化された学習システムを用いてプレイした学生の事前試験結果を通じて,システムの有効性を実証する。
論文 参考訳（メタデータ） (2023-05-26T01:24:19Z) - ICDAR 2023 Competition on Hierarchical Text Detection and Recognition [60.68100769639923]
このコンペティションは、テキストの検出と認識を共同で行うディープラーニングモデルとシステムの研究を促進することを目的としている。
提案するコンペティション組織の詳細について,タスク,データセット,評価,スケジュールなどを紹介する。
大会期間中(2023年1月2日から2023年4月1日まで)、20チーム以上から少なくとも50人が提案された2つのタスクで応募された。
論文 参考訳（メタデータ） (2023-05-16T18:56:12Z) - Overview of the TREC 2020 Fair Ranking Track [64.16623297717642]
本稿は、NIST TREC 2020 Fair Ranking trackの概要を示す。
フェア・ランキング・トラックの中心的な目標は、様々な作家グループに公正な露出を提供することである。
論文 参考訳（メタデータ） (2021-08-11T10:22:05Z) - Distributed Deep Learning in Open Collaborations [49.240611132653456]
協調学習に特化して設計された新しいアルゴリズムフレームワークを提案する。
現実的な条件下でのSwaVとALBERTの事前学習に対するアプローチの有効性を実証し,コストのごく一部で従来の設定に匹敵する性能を実現する。
論文 参考訳（メタデータ） (2021-06-18T16:23:13Z) - Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。
本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
論文 参考訳（メタデータ） (2020-03-25T21:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。