論文の概要: Using Generative Text Models to Create Qualitative Codebooks for Student Evaluations of Teaching
- arxiv url: http://arxiv.org/abs/2403.11984v1
- Date: Mon, 18 Mar 2024 17:21:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 19:20:58.325240
- Title: Using Generative Text Models to Create Qualitative Codebooks for Student Evaluations of Teaching
- Title（参考訳）: 生成テキストモデルを用いた学生による授業評価のための定性的コードブックの作成
- Authors: Andrew Katz, Mitchell Gerhardt, Michelle Soledad,
- Abstract要約: 学生による教育評価(SET)は、教育者にとって重要なフィードバック源である。
SETのコレクションは、管理者がコースやプログラム全体の信号として役立つ。
自然言語処理(NLP)と大規模言語モデル(LLM)を用いてSETを解析する新しい手法について論じる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Feedback is a critical aspect of improvement. Unfortunately, when there is a lot of feedback from multiple sources, it can be difficult to distill the information into actionable insights. Consider student evaluations of teaching (SETs), which are important sources of feedback for educators. They can give instructors insights into what worked during a semester. A collection of SETs can also be useful to administrators as signals for courses or entire programs. However, on a large scale as in high-enrollment courses or administrative records over several years, the volume of SETs can render them difficult to analyze. In this paper, we discuss a novel method for analyzing SETs using natural language processing (NLP) and large language models (LLMs). We demonstrate the method by applying it to a corpus of 5,000 SETs from a large public university. We show that the method can be used to extract, embed, cluster, and summarize the SETs to identify the themes they express. More generally, this work illustrates how to use the combination of NLP techniques and LLMs to generate a codebook for SETs. We conclude by discussing the implications of this method for analyzing SETs and other types of student writing in teaching and research settings.
- Abstract（参考訳）: フィードバックは改善の重要な側面です。
残念なことに、複数のソースからの多くのフィードバックがある場合、情報を実用的な洞察に抽出することは困難です。
教育者にとって重要なフィードバック源である教育評価(SET)について考察する。
授業中の動作についてインストラクターに洞察を与えることができる。
SETのコレクションは、管理者がコースやプログラム全体の信号として役立つ。
しかし、数年間にわたる高学歴や行政記録のように大規模に、SETの量は分析を困難にしている。
本稿では,自然言語処理(NLP)と大規模言語モデル(LLM)を用いたSETの解析手法について述べる。
大規模公立大学から5,000SETのコーパスに適用し,本手法を実証する。
提案手法は,SETを抽出,埋め込み,クラスタ化,要約して表現するテーマを識別するために利用できることを示す。
より一般的に、この研究はNLP技術とLLMを組み合わせてSETのコードブックを生成する方法を示している。
本稿では,本手法が授業や研究環境において,SETやその他の学生の書き方を分析することの意義について論じる。
関連論文リスト
- Soft Prompting for Unlearning in Large Language Models [11.504012974208466]
この研究は、データ保護規制を動機とした大規模言語モデルのための機械学習の研究に焦点をあてる。
本研究では、任意のクエリに付加可能なプロンプトトークンを学習して学習を誘発する、textbfSoft textbfPrompting for textbfUntextbflearning (SPUL)を提案する。
論文 参考訳（メタデータ） (2024-06-17T19:11:40Z) - Next-Step Hint Generation for Introductory Programming Using Large
Language Models [0.8002196839441036]
大きな言語モデルは、質問に答えたり、エッセイを書いたり、プログラミングの練習を解くといったスキルを持っている。
本研究は,LLMが学生に次のステップの自動ヒントを提供することで,プログラミング教育にどう貢献できるかを考察する。
論文 参考訳（メタデータ） (2023-12-03T17:51:07Z) - LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。
ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。
In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
論文 参考訳（メタデータ） (2023-10-23T17:05:59Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳（メタデータ） (2023-08-21T15:35:16Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳（メタデータ） (2023-06-25T02:39:19Z) - Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A
Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。
本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。
実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2023-05-22T16:56:44Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - SETSum: Summarization and Visualization of Student Evaluations of
Teaching [74.76373136325032]
学生の教育評価(SET)は、大学や大学で広く使われている。
SETSumは、インストラクターや他のレビュアーにSETの調査結果の組織化されたイラストを提供している。
論文 参考訳（メタデータ） (2022-07-08T01:40:11Z) - OPAD: An Optimized Policy-based Active Learning Framework for Document
Content Analysis [6.159771892460152]
文書のコンテンツ検出タスクにおける能動的学習のための強化ポリシーを用いた新しいフレームワークであるtextitOPADを提案する。
フレームワークは、取得機能を学び、パフォーマンスメトリクスを最適化しながら、選択するサンプルを決定する。
本稿では,文書理解に関わる様々なタスクに対する能動的学習のためのテキストOPADフレームワークの優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-01T07:40:56Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。