論文の概要: Optimizing Peer Grading: A Systematic Literature Review of Reviewer Assignment Strategies and Quantity of Reviewers
- arxiv url: http://arxiv.org/abs/2508.11678v2
- Date: Mon, 25 Aug 2025 15:28:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 14:31:50.846147
- Title: Optimizing Peer Grading: A Systematic Literature Review of Reviewer Assignment Strategies and Quantity of Reviewers
- Title（参考訳）: ピアグレーディングの最適化:レビュアーの割り当て方略とレビュアーの量に関する体系的な文献レビュー
- Authors: Uchswas Paul, Shail Shah, Sri Vaishnavi Mylavarapu, M. Parvez Rashid, Edward Gehringer,
- Abstract要約: 本稿では, 査定の精度, 公平性, 教育的価値にどのような影響を与えるかを検討する。
我々は,ランダムな代入,能力に基づく代入,ソーシャル・ネットワークに基づく代入,入札という4つの一般的なレビュアー・アサインメント戦略を特定した。
レビューカウントでは、投稿ごとに3つのレビューを割り当てることが最も一般的なプラクティスとして現れます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Peer assessment has established itself as a critical pedagogical tool in academic settings, offering students timely, high-quality feedback to enhance learning outcomes. However, the efficacy of this approach depends on two factors: (1) the strategic allocation of reviewers and (2) the number of reviews per artifact. This paper presents a systematic literature review of 87 studies (2010--2024) to investigate how reviewer-assignment strategies and the number of reviews per submission impact the accuracy, fairness, and educational value of peer assessment. We identified four common reviewer-assignment strategies: random assignment, competency-based assignment, social-network-based assignment, and bidding. Drawing from both quantitative data and qualitative insights, we explored the trade-offs involved in each approach. Random assignment, while widely used, often results in inconsistent grading and fairness concerns. Competency-based strategies can address these issues. Meanwhile, social and bidding-based methods have the potential to improve fairness and timeliness -- existing empirical evidence is limited. In terms of review count, assigning three reviews per submission emerges as the most common practice. A range of three to five reviews per student or per submission is frequently cited as a recommended spot that balances grading accuracy, student workload, learning outcomes, and engagement.
- Abstract（参考訳）: ピアアセスメントは、学生にタイムリーで高品質なフィードバックを提供し、学習成果を高めるために、学術的な環境において重要な教育ツールとして確立されてきた。
しかし,このアプローチの有効性は,(1)レビュアーの戦略的割り当てと(2)アーティファクト毎のレビュー数という2つの要因に依存する。
本論文は,87研究(2010年～2024年)の体系的な文献レビューを行い,査定の精度,公平性,教育的価値にどのように影響するかを考察する。
我々は,ランダムな代入,能力に基づく代入,ソーシャル・ネットワークに基づく代入,入札という4つの一般的なレビュアー・アサインメント戦略を特定した。
定量的データと質的な洞察の両方から、私たちはそれぞれのアプローチに関わるトレードオフを調査しました。
ランダムな代入は広く使われているが、しばしば矛盾する階調や公平性の懸念をもたらす。
競合ベースの戦略はこれらの問題に対処できる。
一方、社会的・入札に基づく手法は、公正さとタイムラインを改善する可能性があり、既存の実証的な証拠は限られている。
レビューカウントでは、投稿ごとに3つのレビューを割り当てることが最も一般的なプラクティスとして現れます。
学生1人あたりの3～5回のレビューや、学生の作業量、学習結果、エンゲージメントのバランスをとるための推奨スポットとして、しばしば引用される。
関連論文リスト
- Scaling Success: A Systematic Review of Peer Grading Strategies for Accuracy, Efficiency, and Learning in Contemporary Education [0.0]
本稿では、40年以上にわたるピアグレーディングに関する122のピアレビュー研究を体系的にレビューする。
本稿では,評価アプローチとレビュアー重み付け戦略という2つの重要な側面に沿って,ピアグレーディングシステムを編成する包括的分類法を提案する。
論文 参考訳（メタデータ） (2025-08-08T15:22:06Z) - Identifying Aspects in Peer Reviews [61.374437855024844]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [3.802113616844045]
本研究では,レビュアの品質を推定するオープンなボトムアッププロセスを通じて,科学的ピアレビューの精度と効率を向上させるためのデータ駆動フレームワークを提案する。
我々は,2つの主要な学術会議から開かれたピアレビューデータを分析し,レビュアー固有の品質スコアが紙の品質評価の信頼性を著しく向上することを示した。
論文 参考訳（メタデータ） (2025-01-22T17:00:27Z) - GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳（メタデータ） (2024-06-11T15:27:01Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - The Price of Strategyproofing Peer Assessment [30.51994705981846]
戦略行動は、ある種のピアアセスメントを必要とする様々な現実世界のアプリケーションにおいて、基本的な問題である。
個人の著作は、評価している提出書と競合しているため、自己の提出書の相対的地位を高めるために不当な評価をすることができる。
この問題は一般的に、個人を分割し、異なるサブセットからのみの作業を評価するよう割り当てることによって解決される。
論文 参考訳（メタデータ） (2022-01-25T21:16:33Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Catch Me if I Can: Detecting Strategic Behaviour in Peer Assessment [61.24399136715106]
我々は、試験やホームワークの査定や採用・昇進の査定など、様々な査定課題における戦略的行動の課題について考察する。
我々はこのような操作を検出する方法の設計に重点を置いている。
具体的には、エージェントがピアのサブセットを評価し、後に集約されたランキングを最終的な順序付けとして出力する設定について検討する。
論文 参考訳（メタデータ） (2020-10-08T15:08:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。