論文の概要: SIGHT: A Large Annotated Dataset on Student Insights Gathered from
Higher Education Transcripts
- arxiv url: http://arxiv.org/abs/2306.09343v1
- Date: Thu, 15 Jun 2023 17:59:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 12:57:01.633563
- Title: SIGHT: A Large Annotated Dataset on Student Insights Gathered from
Higher Education Transcripts
- Title（参考訳）: SIGHT:高等教育資料から得られた学生の視点に関する注釈付きデータセット
- Authors: Rose E. Wang, Pawan Wirawarn, Noah Goodman, Dorottya Demszky
- Abstract要約: SIGHTは、マサチューセッツ工科大学 OpenCourseWare (MIT OCW) YouTubeチャンネルから収集された数学講義の大量のデータセットと15,784のコメントである。
本稿では,大規模言語モデル(LLM)を用いたコメントの分類を安価に行うためのベストプラクティスを提案する。
これらのテクニックは、何千ものコメントからの有用な学生のフィードバックを明らかにし、コメント1件あたり0.002ドル程度を支払った。
- 参考スコア（独自算出の注目度）: 5.921876072548036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lectures are a learning experience for both students and teachers. Students
learn from teachers about the subject material, while teachers learn from
students about how to refine their instruction. However, online student
feedback is unstructured and abundant, making it challenging for teachers to
learn and improve. We take a step towards tackling this challenge. First, we
contribute a dataset for studying this problem: SIGHT is a large dataset of 288
math lecture transcripts and 15,784 comments collected from the Massachusetts
Institute of Technology OpenCourseWare (MIT OCW) YouTube channel. Second, we
develop a rubric for categorizing feedback types using qualitative analysis.
Qualitative analysis methods are powerful in uncovering domain-specific
insights, however they are costly to apply to large data sources. To overcome
this challenge, we propose a set of best practices for using large language
models (LLMs) to cheaply classify the comments at scale. We observe a striking
correlation between the model's and humans' annotation: Categories with
consistent human annotations (>$0.9$ inter-rater reliability, IRR) also display
higher human-model agreement (>$0.7$), while categories with less consistent
human annotations ($0.7$-$0.8$ IRR) correspondingly demonstrate lower
human-model agreement ($0.3$-$0.5$). These techniques uncover useful student
feedback from thousands of comments, costing around $\$0.002$ per comment. We
conclude by discussing exciting future directions on using online student
feedback and improving automated annotation techniques for qualitative
research.
- Abstract（参考訳）: 講義は学生と教師の双方にとって学習経験である。
生徒は教材について教師から学び、教師は教材を洗練する方法について生徒から学ぶ。
しかし、オンライン学生のフィードバックは構造化されておらず豊富であり、教師が学び、改善することは困難である。
私たちはこの課題に取り組むための一歩を踏み出します。
SIGHTは、マサチューセッツ工科大学 OpenCourseWare (MIT OCW) YouTubeチャンネルから収集された288の数学講義テキストと15,784のコメントからなる大規模なデータセットである。
第2に,定性解析を用いてフィードバックタイプを分類するルーブリックを開発する。
質的分析手法はドメイン固有の洞察を明らかにするのに強力ですが、大規模データソースに適用するにはコストがかかります。
この課題を克服するため,我々は大規模言語モデル(llm)を用いてコメントを大規模に分類するための一連のベストプラクティスを提案する。
一貫性のある人的アノテーション(>0.9$インターラター信頼性、IRR)を持つカテゴリは、より高い人的モデル合意(>0.7$)を示す一方、一貫性の低い人的アノテーション($0.7$-0.8$ IRR)を持つカテゴリは、低い人的モデル合意(0.3$-0.5$)を示す。
これらのテクニックは、何千ものコメントから有用な学生のフィードバックを導き出し、1コメントあたり0.002ドルの費用がかかる。
結論として,オンライン学生のフィードバックと質的研究のための自動アノテーション技術の改善について,今後の課題について考察した。
関連論文リスト
- NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。
NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
論文 参考訳（メタデータ） (2024-11-08T20:11:24Z) - Dual Active Learning for Reinforcement Learning from Human Feedback [13.732678966515781]
人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデルと人間の好みを合わせるために広く応用されている。
人間のフィードバックは高価で時間を要するため、人間の教師がラベルを付けるための高品質な会話データを集めることが不可欠である。
本稿では、オフライン強化学習(RL)を用いてアライメント問題を定式化する。
論文 参考訳（メタデータ） (2024-10-03T14:09:58Z) - Leveraging Domain Knowledge for Efficient Reward Modelling in RLHF: A Case-Study in E-Commerce Opinion Summarization [31.62955753621984]
本稿では,ドメイン知識を$varphi$に注入する新しい手法を提案する。
E-Commerce Opinion Summarizationにおける我々のアプローチを検証する。
コントリビューションには、新しいReward Modelingテクニックと2つの新しいデータセットが含まれています。
論文 参考訳（メタデータ） (2024-02-23T18:05:06Z) - YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。
モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。
実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
論文 参考訳（メタデータ） (2024-01-28T14:32:15Z) - Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。
我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。
このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
論文 参考訳（メタデータ） (2023-10-10T09:20:14Z) - UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。
我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文 参考訳（メタデータ） (2023-10-02T17:40:01Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳（メタデータ） (2023-05-23T21:44:56Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Learning a Cost-Effective Annotation Policy for Question Answering [45.567289143650484]
最先端の質問に対する回答は、ラベル付けに時間がかかり高価である大量のトレーニングデータに依存している。
コスト効率のよいアノテーションポリシーを学習するために必要なQAデータセットに注釈を付けるための新しいフレームワークを提案する。
我々の手法はアノテーションのコストの21.1%まで削減できることがわかった。
論文 参考訳（メタデータ） (2020-10-07T15:25:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。