論文の概要: A Large-Scale Observational Study on Obtaining Lightweight, Randomized Weekly Student Feedback
- arxiv url: http://arxiv.org/abs/2605.02281v1
- Date: Mon, 04 May 2026 07:12:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.170515
- Title: A Large-Scale Observational Study on Obtaining Lightweight, Randomized Weekly Student Feedback
- Title(参考訳): 学生の無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作為・無作
- Authors: Yunsung Kim, Hansol Lee, Candace Thille, Chris Piech,
- Abstract要約: High-Resolution Course Feedback (HRCF) は、教師が学生に過剰な負担を課すことなく役に立つフィードバックを与える。
我々は,2021年秋から2025年秋までの4年間に計24,216人の学生が参加する103コースのHRCF使用について調査した。
HRCFの継続使用は,学習関連項目に対する追加使用期間当たり0.045~0.048ポイントの平均評価上昇と関連していることがわかった。
- 参考スコア(独自算出の注目度): 3.2485598296072156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conventional methods of obtaining student feedback on course experience face a fundamental tradeoff between feedback frequency and quality: as feedback requests become more frequent, participation often declines, and responses become less thoughtful over time. To obtain both timely and thoughtful feedback from students, Kim and Piech (Learning at Scale, 2023) recently proposed a simple, lightweight course feedback mechanism: surveying each student a small number of times per term during randomly selected weeks. Named High-Resolution Course Feedback (HRCF), this method has been shown to elicit feedback that instructors find helpful without imposing excessive burden on students. An important question, however, remains unanswered: is the use of this simple method associated with measurable improvements in students' actual course experiences? We study HRCF use across 103 course offerings, totaling 24,216 student enrollments, over four years from Fall 2021 through Fall 2025, spanning 42 unique computer science courses at an R1 institution. Through a regression analysis of four end-of-term student evaluation items for these courses, we find that first-time use of HRCF is not associated with a measurable change in average student ratings. However, among small- and medium-enrollment (<250 students) course offerings, continued HRCF use is associated with average rating increases of 0.045 to 0.048 points per additional term of use for learning-related items. We observe no statistically significant associations for large-enrollment (250 or more students) course offerings, nor for items measuring instructional quality and course organization. Together, these findings suggest that sustained HRCF use may support improvements in students' learning experiences, but that further design enhancements may be needed to produce measurable improvements in instructional quality and course organization.
- Abstract(参考訳): 学生のフィードバックをコース体験で取得する従来の方法は、フィードバックの頻度と品質の基本的なトレードオフに直面している。
学生からのタイムリーで思慮深いフィードバックを得るため、Kim and Piech (Learning at Scale, 2023)は、最近、シンプルで軽量なコースフィードバック機構を提案した。
HRCF(High-Resolution Course Feedback)と呼ばれるこの手法は,学生に過剰な負担を課すことなく,インストラクターが役に立ちそうなフィードバックを導き出すことが示されている。
しかし、重要な疑問は未解決のままであり、この単純な方法が学生の実際の授業経験の計測可能な改善に結びついているのだろうか?
我々は、2021年秋から2025年秋までの4年間に合計24,216人の学生が参加する103のコースでHRCFの使用について調査した。
これらのコースの4つの終末評価項目の回帰分析により,HRCFの初回使用は,平均的学生評価の変化とは無関係であることが判明した。
しかし,小規模・中等教育コース(250名)では,HRCFの継続使用は,学習関連項目に対する追加使用期間当たり0.045~0.048ポイントの平均評価上昇と関連している。
我々は,大学生(250人以上の学生)の授業提供や,授業の質やコースの組織を測る項目について,統計的に有意な関連性は見つからない。
これらの結果から,HRCFの持続的使用は学生の学習経験の向上に寄与する可能性が示唆された。
関連論文リスト
- The "Astonishing Regularity'' Revisited: Sensitivity of Learning-Rate Estimates to Practice-Sequence Length [0.7966335996690441]
学生ログデータの観察長は混合効果推定では無視できないという不測の仮定を探索する。
学生スキルペアあたりの最初の10回の捕獲は、学生の学習率の平均的なICCを75%に膨らませることを示した。
実例列長分布は,観測学習データに対する混合効果推定の未検討特性である,と我々は主張する。
論文 参考訳(メタデータ) (2026-05-03T03:07:36Z) - Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment [82.00769536768509]
Rank-Surprisal Ratioは、推論軌道の適合性を評価するためにアライメントとインフォメーションの両方をキャプチャする単純な計量である。
軌道選択と教師選択の両方において,その実用性を実証する。
論文 参考訳(メタデータ) (2026-01-20T18:58:10Z) - Re-Rankers as Relevance Judges [65.37611299805856]
再ランカ・アズ・レバレンス・ジャッジ設定で再ランカを再現する。
TREC-DL 2019〜2023では,220Mから32Bの3家族から8人の再ランカを対象に実験を行い,再ランカに基づく審査員による評価バイアスを分析した。
論文 参考訳(メタデータ) (2026-01-08T00:02:59Z) - CS-Guide: Leveraging LLMs and Student Reflections to Provide Frequent, Scalable Academic Monitoring Feedback to Computer Science Students [2.2012643583422347]
CS部門は、しばしば多くの学生にサービスを提供し、タイムリーな学術的なモニタリングとパーソナライズされたフィードバックを困難にしている。
本稿では,大規模言語モデル(LLM)を利用して,スケーラブルで頻繁な学術的フィードバックを提供するCS-Guideを提案する。
CS-Guideを4年20K経年的データセットで評価し,初等生の介入を推奨し,97%のF1スコアを得た。
論文 参考訳(メタデータ) (2025-12-22T20:43:59Z) - Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。
FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。
推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
論文 参考訳(メタデータ) (2025-10-20T17:52:06Z) - How Adding Metacognitive Requirements in Support of AI Feedback in Practice Exams Transforms Student Learning Behaviors [1.3285222309805063]
本稿では,AIが生成したフィードバックを対象とする教科書参照と統合した実践試験システムを提案する。
本システムでは,生徒に回答を説明し,自信を宣言することで,メタ認知行動を促進する。
OpenAIのGPT-4oを使用して、この情報に基づいてパーソナライズされたフィードバックを生成し、関連する教科書セクションに誘導する。
論文 参考訳(メタデータ) (2025-05-19T17:25:07Z) - A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。
自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。
意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
論文 参考訳(メタデータ) (2024-11-13T01:12:35Z) - Learning to Love Edge Cases in Formative Math Assessment: Using the AMMORE Dataset and Chain-of-Thought Prompting to Improve Grading Accuracy [0.0]
本稿では,Rori による 53,000 個の質問応答対の新たなデータセットである AMMORE を紹介する。
2つの実験により,大規模言語モデル(LLM)を用いて,難解な学生の回答を段階的に評価する。
論文 参考訳(メタデータ) (2024-09-26T14:51:40Z) - Efficient course recommendations with T5-based ranking and summarization [2.6968321526169503]
そこで我々は,MSMARCOをリランカとしてLandT5を微調整した2段階探索パイプラインを開発した。
新たにラベル付けされた2つのデータセットに対して,A/Bテストとユーザアンケートでランク付けを行った。
オンラインコースレコメンデーションのためのT5ベースの再ランク付けと要約は、単一ステップの語彙検索よりもはるかに優れた効果が得られると結論付けている。
論文 参考訳(メタデータ) (2024-06-27T09:07:32Z) - SLCA: Slow Learner with Classifier Alignment for Continual Learning on a
Pre-trained Model [73.80068155830708]
予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。
Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。
さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
論文 参考訳(メタデータ) (2023-03-09T08:57:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。