論文の概要: Linking open-source code commits and MOOC grades to evaluate massive online open peer review

• arxiv url: http://arxiv.org/abs/2104.12555v1
• Date: Thu, 15 Apr 2021 18:27:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 17:55:28.307301
• Title: Linking open-source code commits and MOOC grades to evaluate massive online open peer review
• Title（参考訳）: オープンソースのコードコミットとMOOCグレードをリンクして大規模なオンラインオープンピアレビューを評価する
• Authors: Siruo Wang, Leah R. Jager, Kai Kammers, Aboozar Hadavand, Jeffrey T. Leek
• Abstract要約: GitHub上の公開コードリポジトリのデータと、大規模な大規模オンラインオープンコースのコースグレードをリンクして、大規模なピアレビューのダイナミクスを研究します。 3つの異なるピアレビューのサブミットを見つけ、これらを使用して、コードサブミットの変更に応じてグレードがどのように変化するかを調べます。 我々の調査は、大規模なピアレビュースコアが非常に変動し、平均的に、繰り返しの投稿で増加し、スコアの変化は、再レビューの基盤となるコード変更と密接な関係がない、という重要な観察につながります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Massive Open Online Courses (MOOCs) have been used by students as a low-cost and low-touch educational credential in a variety of fields. Understanding the grading mechanisms behind these course assignments is important for evaluating MOOC credentials. A common approach to grading free-response assignments is massive scale peer-review, especially used for assignments that are not easy to grade programmatically. It is difficult to assess these approaches since the responses typically require human evaluation. Here we link data from public code repositories on GitHub and course grades for a large massive-online open course to study the dynamics of massive scale peer review. This has important implications for understanding the dynamics of difficult to grade assignments. Since the research was not hypothesis-driven, we described the results in an exploratory framework. We find three distinct clusters of repeated peer-review submissions and use these clusters to study how grades change in response to changes in code submissions. Our exploration also leads to an important observation that massive scale peer-review scores are highly variable, increase, on average, with repeated submissions, and changes in scores are not closely tied to the code changes that form the basis for the re-submissions.
• Abstract（参考訳）: 大規模オープンオンラインコース(MOOC)は、様々な分野において、低コストで低タッチの教育資格として学生によって使用されている。 これらのコース割り当ての背後にあるグレーディングメカニズムを理解することはMOOC認証を評価する上で重要である。 自由応答割り当てを格付けする一般的なアプローチは、大規模なピアリビューであり、特にプログラムで格付けが容易でない割り当てに使用される。 応答は一般に人的評価を必要とするため、これらのアプローチを評価するのは難しい。 ここでは,github上の公開コードリポジトリからのデータと,大規模なオンラインオープンコースのコースグレードをリンクして,大規模なピアレビューのダイナミクスを調査します。 これは難しい代入の力学を理解するために重要な意味を持つ。 この研究は仮説駆動ではないため,探索的枠組みで結果について述べる。 3つの異なるピアレビュー提出のクラスタを見つけ、これらのクラスタを使用して、コード提出の変更に応じてグレードがどのように変化するかを調べます。 我々の調査は、大規模なピアレビュースコアが非常に変動し、平均的に、繰り返しの投稿で増加し、スコアの変化は再提出の基盤となるコード変更と密接な関係がないという重要な観察につながります。

関連論文リスト

• AgentReview: Exploring Peer Review Dynamics with LLM Agents [13.826819101545926]
  本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。 本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-06-18T15:22:12Z)
• Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
  大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。 我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。 複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-09T08:24:17Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
  モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。 近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。 知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
  論文  参考訳（メタデータ） (2021-10-27T12:19:56Z)
• Polarity in the Classroom: A Case Study Leveraging Peer Sentiment Toward Scalable Assessment [4.588028371034406]
  大規模なまたは大規模なオープンオンラインコース(MOOC)における、正確な段階的なオープンエンドの割り当ては、簡単ではない。 本稿では、ドメイン依存のレキシコンとアスペクトインフォーム化されたレビューフォームを作成するプロセスについて詳述する。 有効性を分析し、9コースから6800以上のピアレビューのコーパスから結論を議論する。
  論文  参考訳（メタデータ） (2021-08-02T15:45:11Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• The Influence of Domain-Based Preprocessing on Subject-Specific Clustering [55.41644538483948]
  大学におけるオンライン教育の大部分を突然移行させることで、学者の作業負荷が増大した。 この問題に対処するひとつの方法は、トピックに応じてこれらの質問をクラスタ化することです。 本稿では,タグ付けデータセットの領域を探求し,コードの抜粋の同定と経験的結果の提供に焦点をあてる。
  論文  参考訳（メタデータ） (2020-11-16T17:47:19Z)
• Key Phrase Classification in Complex Assignments [5.067828201066184]
  キーフレーズの分類作業は,人間レベルでは曖昧であり,新しいデータセット上でコーエンのカッパが0.77であることを示す。 事前訓練された言語モデルと単純なTFIDF SVM分類器の両方が、前者の生成平均0.6 F1が後者よりも高い結果を生成する。
  論文  参考訳（メタデータ） (2020-03-16T04:25:37Z)
• Systematic Review of Approaches to Improve Peer Assessment at Scale [5.067828201066184]
  本稿では, ピアアセスメント(PA)の3つの側面, オートグレーティングとピアアセスメントツール(ピアレビュー/オートグレーティングの実施方法のみに注目します), ローグレビューを扱う戦略, 自然言語処理によるピアレビューの改善について述べる。
  論文  参考訳（メタデータ） (2020-01-27T15:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。