論文の概要: Scaling Peer Assessments: An Integrity Report from a Large Engineering Internship

• arxiv url: http://arxiv.org/abs/2610.01020v1
• Date: Thu, 01 Oct 2026 04:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.888949
• Title: Scaling Peer Assessments: An Integrity Report from a Large Engineering Internship
• Title（参考訳）: ピアアセスメントのスケールアップ - 大規模なエンジニアリングインターンシップからのインテリジェンスレポート
• Abstract要約: 大規模・多施設インターンシッププログラムにおいてピア検証モデルを実装した。 十分な理解を示した学生は、仲間を評価し、評価する権限を与えられた。 ほとんどの参加者は活動に価値があると考えており、79.8%はそれまで解決できなかった問題を解決したと報告している。 しかしながら、29.0%は、努力の削減、検証基準の引き下げ、相互検証の少なくとも1つの事例を認めており、88.7%は、ある程度の検証が適切に行われていないと信じている。
• 参考スコア（独自算出の注目度）: 2.1494596588623134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Assessing learning in large classrooms presents a significant challenge for individual instructors, who may have limited capacity to evaluate the understanding, participation, and assessment behaviour of every student. Peer assessments have been a way of distributing this responsibility among learners, allowing them to evaluate and provide feedback to one another while reducing dependence on instructor-led assessments. Building on this approach, we implemented a peer validation model within a large, multi-institutional internship programme in which students who demonstrated sufficient understanding were authorised to assess and validate their peers through short oral discussions. The assessment process began with the instructor validating a small group of students, who were then authorised to validate their peers, allowing the process to gradually expand across the cohort and operate at scale. This study examines how participants experienced the model and the extent to which assessment integrity was maintained, using an end-of-programme survey of 238 consenting respondents. Most participants regarded the activity as worthwhile, with 79.8% reporting that they solved problems they could not previously solve. However, 29.0% acknowledged at least one instance of reduced effort, a lowered validation standard, or reciprocal validation, while 88.7% believed that at least a little validation had occurred without proper examination. When asked how the process could be strengthened, participants selected post-validation discussion of solutions approximately twice as often as closer auditing or mentor-led validation. These findings provide descriptive evidence of both the potential and the integrity challenges of using peer validation as a scalable assessment approach in large learning environments.
• Abstract（参考訳）: 大きな教室での学習を評価することは、各生徒の理解、参加、評価の能力に限界がある個々のインストラクターにとって重要な課題である。 ピアアセスメントは、学習者間でこの責任を分配する方法であり、インストラクター主導のアセスメントへの依存を軽減しつつ、相互に評価とフィードバックを提供することを可能にしている。 提案手法は,大規模・多施設インターンシッププログラム内にピア検証モデルを実装し,十分な理解を示した学生に対して,短時間の口頭ディスカッションを通じてピア評価と評価を行う。 評価のプロセスは、インストラクターが学生の小さなグループを検証することから始まり、そのグループは仲間の検証を許可され、徐々にコホートを越えて拡大し、大規模に運用することができるようになった。 本研究は,238人の同意者を対象としたプログラム終了調査を用いて,モデルと評価の整合性維持の程度について検討した。 ほとんどの参加者は活動に価値があると考えており、79.8%はそれまで解決できなかった問題を解決したと報告している。 しかしながら、29.0%は、努力の削減、検証基準の引き下げ、相互検証の少なくとも1つの事例を認めており、88.7%は、ある程度の検証が適切に行われていないと信じている。 プロセスをどのように強化できるかという質問に対して、参加者は、より密接な監査やメンター主導の検証の約2倍の頻度で、ソリューションの検証後の議論を選択した。 これらの知見は、大規模学習環境におけるスケーラブルな評価手法としてピアバリデーションを使用することによる可能性と整合性の両方について、記述的な証拠を提供する。

関連論文リスト

• Findings of the BEA 2025 Shared Task on Pedagogical Ability Assessment of AI-powered Tutors [6.891852148875869]
  このタスクは、AIチューターのパフォーマンスを、誤識別の重要な次元にわたって自動的に評価するように設計された5つのトラックで構成されている。 4つの教育能力評価トラックの最良の結果は、マクロF1スコア58.34(ガイダンス提供)と3クラスの問題に対する71.81(誤識別)の範囲である。
  論文  参考訳（メタデータ） (2025-07-11T10:57:36Z)
• Existing Large Language Model Unlearning Evaluations Are Inconclusive [105.55899615056573]
  いくつかの評価では、モデルにかなりの新しい情報を導入し、真の未学習のパフォーマンスを隠蔽する可能性があることを示す。 評価結果はタスクによって大きく異なることを示し、現在の評価ルーチンの一般化性を損なうことを示した。 今後の未学習評価には,情報注入の最小化とタスク認識のダウンストリームという2つの原則を提案する。
  論文  参考訳（メタデータ） (2025-05-31T19:43:00Z)
• From Coders to Critics: Empowering Students through Peer Assessment in the Age of AI Copilots [3.3094795918443634]
  本稿では,大規模プログラミングコースで実装されたルーリックベースで匿名化されたピアレビュープロセスについて,実証的研究を行う。 学生同士の最終プロジェクト(2Dゲーム)を評価し,その評価を,相関,平均絶対誤差,根平均二乗誤差(RMSE)を用いたインストラクターの成績と比較した。 その結果、ピアレビューは、インストラクターの評価を適度な精度で近似し、学生のエンゲージメント、評価的思考、そして仲間に良いフィードバックを提供することへの関心を高めることができた。
  論文  参考訳（メタデータ） (2025-05-28T08:17:05Z)
• The Potential of Answer Classes in Large-scale Written Computer-Science Exams -- Vol. 2 [0.0]
  中等教育の教員養成では、試験ごとに評価ガイドラインが義務付けられている。 この概念を462名の学生と41名の課題を持つ大学試験に適用する。 各タスクに対して、インストラクターは、期待された応答のクラスである回答クラスを開発した。
  論文  参考訳（メタデータ） (2024-12-12T10:20:39Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)
• Let's Verify Step by Step [73.58107073356732]
  プロセスの監督は,課題を解決するためのトレーニングモデルにおいて,結果の監督を著しく上回っていることを示す。 我々のモデルは、MATHテストセットの代表部分集合から78%の問題を解く。 また、最高の報酬モデルをトレーニングするために使われる80,000段階の人間フィードバックラベルの完全なデータセットであるPRM800Kをリリースしています。
  論文  参考訳（メタデータ） (2023-05-31T17:24:00Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• The Study of Peer Assessment Impact on Group Learning Activities [2.045495982086173]
  この研究は、完全かつ体系的なレビューを提供し、ピアアセスメントプロセスの実践と品質を高めます。 その結果、37%の学生が選択した場合、グループワークよりも個々の仕事を選択できることがわかった。 ケーススタディでは、28人の学生の82.1%が、コミュニケーションツールとしてFacebookを使ってグループで仕事をしている。
  論文  参考訳（メタデータ） (2022-01-07T06:54:18Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• The Challenges of Assessing and Evaluating the Students at Distance [77.34726150561087]
  新型コロナウイルス(COVID-19)の感染拡大が高等教育機関に強い影響を及ぼし、教室の授業は中止された。 本論文は、ポルトガルの高等教育機関がもたらす課題を探求し、評価モデルにもたらす課題を分析することを目的としている。
  論文  参考訳（メタデータ） (2021-01-30T13:13:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。