論文の概要: Clustering MOOC Programming Solutions to Diversify Their Presentation to Students
- arxiv url: http://arxiv.org/abs/2403.19398v2
- Date: Fri, 11 Oct 2024 21:45:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:03:54.475148
- Title: Clustering MOOC Programming Solutions to Diversify Their Presentation to Students
- Title（参考訳）: 生徒へのプレゼンテーションを多様化するMOOCプログラミングソリューションのクラスタ化
- Authors: Elizaveta Artser, Anastasiia Birillo, Yaroslav Golubev, Maria Tigina, Hieke Keuning, Nikolay Vyahhi, Timofey Bryksin,
- Abstract要約: 多くのMOOCは、単に最新のソリューションを示し、その多様性や品質を無視し、生徒の学習機会を妨げる。
JPlagを人気のあるMOOCプラットフォームであるHyperskill上のPythonのサブミッションに適用した。
我々はRhubarbという独自のツールを開発し、アルゴリズム的に同じ解を標準化し、それらの間の構造認識編集距離を計算し、クラスタリングを適用した。
- 参考スコア（独自算出の注目度）: 6.219350126324697
- License:
- Abstract: In many MOOCs, whenever a student completes a programming task, they can see previous solutions of other students to find potentially different ways of solving the problem and to learn new coding constructs. However, a lot of MOOCs simply show the most recent solutions, disregarding their diversity or quality, and thus hindering the students' opportunity to learn. In this work, we explore this novel problem for the first time. To solve it, we adapted the existing plagiarism detection tool JPlag to Python submissions on Hyperskill, a popular MOOC platform. However, due to the tool's inner algorithm, JPLag fully processed only 46 out of 867 studied tasks. Therefore, we developed our own tool called Rhubarb. This tool first standardizes solutions that are algorithmically the same, then calculates the structure-aware edit distance between them, and then applies clustering. Finally, it selects one example from each of the largest clusters, thus ensuring their diversity. Rhubarb was able to handle all 867 tasks successfully. We compared different approaches on a set of 59 real-life tasks that both tools could process. Eight experts rated the selected solutions based on diversity, code quality, and usefulness. The default platform approach of simply selecting recent submissions received on average 3.12 out of 5, JPlag - 3.77, Rhubarb - 3.50. To ensure both quality and coverage, we created a system that combines both tools. We conclude our work by discussing the future of this new problem and the research needed to solve it better.
- Abstract（参考訳）: 多くのMOOCでは、学生がプログラミングタスクを完了すると、他の生徒の以前のソリューションを見て、問題の解決方法を見つけ、新しいコーディング構造を学ぶことができる。
しかし、MOOCの多くは、多様性や品質を無視して最新のソリューションを示し、生徒の学習機会を妨げている。
本研究では,この新たな問題を初めて考察する。
そこで我々は,既存の盗作検出ツールJPlagを,人気のあるMOOCプラットフォームであるHyperskill上のPythonサブミッションに適用した。
しかし、ツールの内部アルゴリズムにより、JPLagは867のタスクのうち46しか完全に処理しなかった。
そこで我々はRhubarbという独自のツールを開発した。
このツールはまず、アルゴリズムで同じソリューションを標準化し、構造認識の編集距離を計算し、クラスタリングを適用します。
最後に、最大のクラスタのそれぞれから1つのサンプルを選択し、その多様性を保証する。
ルバーブは867の全てのタスクをうまく処理することができた。
両ツールが処理できる59のリアルタイムタスクに対して、さまざまなアプローチを比較しました。
8人の専門家が、多様性、コード品質、有用性に基づいて、選択したソリューションを評価した。
JPlag - 3.77, Rhubarb - 3.50の5つのうち、最新の投稿を単純に選択するデフォルトのプラットフォームアプローチ。
品質とカバレッジの両方を保証するため、私たちは両方のツールを組み合わせたシステムを作りました。
我々は,この新たな課題の将来と,その解決に必要となる研究を議論することで,研究を締めくくります。
関連論文リスト
- Can Language Models Solve Olympiad Programming? [40.54366634332231]
本稿ではUSACOベンチマークについて,USA Computing Olympiadの307の問題点について紹介する。
競争型プログラミングのための様々なLM推論手法を初めて構築・テストする。
GPT-4 は 8.7% パス@1 の精度しか達成していない。
論文 参考訳（メタデータ） (2024-04-16T23:27:38Z) - Orca-Math: Unlocking the potential of SLMs in Grade School Math [10.206509967833664]
最近の研究では、GSM8Kベンチマークで80%以上の精度を達成するために必要な最小のモデルサイズは、34億のパラメータであると仮定されている。
より小さなモデルでこのレベルのパフォーマンスを達成するために、研究者はしばしばSLMを使ってPythonコードを生成するか、計算エラーを避けるツールを使用する。
エージェントが協調してデータを作成するマルチエージェントセットアップを使用して、200Kの数学問題の高品質な合成データセットを作成する。
論文 参考訳（メタデータ） (2024-02-16T23:44:38Z) - Interpretable Decision Tree Search as a Markov Decision Process [8.530182510074983]
教師付き学習タスクに最適な決定木を見つけることは、大規模に解決する上で難しい問題である。
近年、マルコフ決定問題 (MDP) としてこの問題の枠組みを定め、深層強化学習を用いてスケーリングに取り組むことが提案されている。
そこで我々は,全ての状態に対して生成する情報理論テスト生成関数を用いて,MDPの分解能を拡大する手法を提案する。
論文 参考訳（メタデータ） (2023-09-22T08:18:08Z) - Tree of Thoughts: Deliberate Problem Solving with Large Language Models [52.31950122881687]
言語モデル推論のための新しいフレームワーク、Tree of Thoughts (ToT)を紹介します。
ToTは、言語モデルを促進するために人気のChain of Thoughtアプローチを一般化する。
実験の結果,ToTは言語モデルの問題解決能力を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2023-05-17T23:16:17Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳（メタデータ） (2022-11-15T18:57:46Z) - The Machine Learning for Combinatorial Optimization Competition (ML4CO):
Results and Insights [59.93939636422896]
ML4COは、キーコンポーネントを置き換えることで最先端の最適化問題を解決することを目的としている。
このコンペティションでは、最高の実現可能なソリューションを見つけること、最も厳密な最適性証明書を生成すること、適切なルーティング設定を提供すること、という3つの課題があった。
論文 参考訳（メタデータ） (2022-03-04T17:06:00Z) - Winning solutions and post-challenge analyses of the ChaLearn AutoDL
challenge 2019 [112.36155380260655]
本稿では,ChaLearnのAutoDLチャレンジシリーズの結果と今後の課題について述べる。
その結果,一般的なニューラルネットワーク探索(NAS)は実用的ではなかったものの,DL手法が支配的であったことが示唆された。
メタラーナー"、"データインジェクタ"、"モデルセレクタ"、"モデル/ラーナー"、"評価器"を特徴とする、ハイレベルなモジュール化組織が登場した。
論文 参考訳（メタデータ） (2022-01-11T06:21:18Z) - Learning by Fixing: Solving Math Word Problems with Weak Supervision [70.62896781438694]
数学用語問題(mwps)の従来のニューラルネットワークソルバは、完全な監視によって学習され、多様なソリューションを生み出すことができない。
MWPを学習するためのテキスト弱教師付きパラダイムを提案する。
この手法は最終回答のアノテーションのみを必要とし、単一の問題に対して様々な解決策を生成できる。
論文 参考訳（メタデータ） (2020-12-19T03:10:21Z) - Adaptive Submodular Meta-Learning [28.24164217929491]
適応的なサブモジュラーメタラーニング問題を紹介し,研究する。
私たちの問題の入力は、各アイテムが最初に不明なランダムな状態を持つアイテムのセットです。
本研究の目的は,タスクセット上で最高のパフォーマンスを達成する項目群を適応的に選択することである。
論文 参考訳（メタデータ） (2020-12-11T01:28:55Z) - The Importance of Good Starting Solutions in the Minimum Sum of Squares
Clustering Problem [0.0]
クラスタリング問題は、機械学習、オペレーションリサーチ、統計学に多くの応用がある。
本稿では,改良アルゴリズムの開始解を作成するための3つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-04-06T22:13:41Z) - Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding
Meta-Amortization Error [50.83356836818667]
循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。
実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
論文 参考訳（メタデータ） (2020-03-04T04:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。