論文の概要: Using Generative Text Models to Create Qualitative Codebooks for Student Evaluations of Teaching

• arxiv url: http://arxiv.org/abs/2403.11984v1
• Date: Mon, 18 Mar 2024 17:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-20 19:20:58.325240
• Title: Using Generative Text Models to Create Qualitative Codebooks for Student Evaluations of Teaching
• Title（参考訳）: 生成テキストモデルを用いた学生による授業評価のための定性的コードブックの作成
• Authors: Andrew Katz, Mitchell Gerhardt, Michelle Soledad,
• Abstract要約: 学生による教育評価(SET)は、教育者にとって重要なフィードバック源である。 SETのコレクションは、管理者がコースやプログラム全体の信号として役立つ。 自然言語処理(NLP)と大規模言語モデル(LLM)を用いてSETを解析する新しい手法について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Feedback is a critical aspect of improvement. Unfortunately, when there is a lot of feedback from multiple sources, it can be difficult to distill the information into actionable insights. Consider student evaluations of teaching (SETs), which are important sources of feedback for educators. They can give instructors insights into what worked during a semester. A collection of SETs can also be useful to administrators as signals for courses or entire programs. However, on a large scale as in high-enrollment courses or administrative records over several years, the volume of SETs can render them difficult to analyze. In this paper, we discuss a novel method for analyzing SETs using natural language processing (NLP) and large language models (LLMs). We demonstrate the method by applying it to a corpus of 5,000 SETs from a large public university. We show that the method can be used to extract, embed, cluster, and summarize the SETs to identify the themes they express. More generally, this work illustrates how to use the combination of NLP techniques and LLMs to generate a codebook for SETs. We conclude by discussing the implications of this method for analyzing SETs and other types of student writing in teaching and research settings.
• Abstract（参考訳）: フィードバックは改善の重要な側面です。 残念なことに、複数のソースからの多くのフィードバックがある場合、情報を実用的な洞察に抽出することは困難です。 教育者にとって重要なフィードバック源である教育評価(SET)について考察する。 授業中の動作についてインストラクターに洞察を与えることができる。 SETのコレクションは、管理者がコースやプログラム全体の信号として役立つ。 しかし、数年間にわたる高学歴や行政記録のように大規模に、SETの量は分析を困難にしている。 本稿では,自然言語処理(NLP)と大規模言語モデル(LLM)を用いたSETの解析手法について述べる。 大規模公立大学から5,000SETのコーパスに適用し,本手法を実証する。 提案手法は,SETを抽出,埋め込み,クラスタ化,要約して表現するテーマを識別するために利用できることを示す。 より一般的に、この研究はNLP技術とLLMを組み合わせてSETのコードブックを生成する方法を示している。 本稿では,本手法が授業や研究環境において,SETやその他の学生の書き方を分析することの意義について論じる。

関連論文リスト

• Towards Leveraging Large Language Model Summaries for Topic Modeling in Source Code [0.0]
  大規模言語モデル (LLM) は、プログラムの理解能力を示す。 トランスフォーマーベースのトピックモデリング技術は、テキストから意味情報を抽出する効果的な方法を提供する。 本稿では,Pythonプログラムのコーパス内で意味のあるトピックを自動的に識別する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-24T10:30:40Z)
• Stay Hungry, Stay Foolish: On the Extended Reading Articles Generation with LLMs [3.2962799070467432]
  本研究では,Large Language Models (LLMs) の可能性を探究し,教材作成の合理化を図る。 TED-Ed Dig Deeperセクションを最初の探索として使用し、補足的記事が文脈知識によってどのように豊かになるかを検討する。 実験により,本モデルが高品質なコンテンツと正確なコース提案を生成することを示す。
  論文  参考訳（メタデータ） (2025-04-21T10:35:48Z)
• Contextualizing Search Queries In-Context Learning for Conversational Rewriting with LLMs [0.0]
  本稿では,数発の対話型クエリ書き換えのための新しいアプローチであるPrompt-Guided In-Context Learningを紹介する。 提案手法では,タスク記述,入出力形式仕様,図示的な例を取り入れ,慎重に設計したプロンプトを用いている。 ベンチマークデータセットであるTRECとTaskmaster-1の実験は、我々のアプローチが強いベースラインを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2025-02-20T20:02:42Z)
• Soft Prompting for Unlearning in Large Language Models [11.504012974208466]
  この研究は、データ保護規制を動機とした大規模言語モデルのための機械学習の研究に焦点をあてる。 我々はtextbfUntextbflearning (SPUL) のための textbfSoft textbfPrompting フレームワークを提案する。 本研究では,提案手法の厳密な評価を行い,SPULが実用性と忘れとのトレードオフを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2024-06-17T19:11:40Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• Next-Step Hint Generation for Introductory Programming Using Large Language Models [0.8002196839441036]
  大きな言語モデルは、質問に答えたり、エッセイを書いたり、プログラミングの練習を解くといったスキルを持っている。 本研究は,LLMが学生に次のステップの自動ヒントを提供することで,プログラミング教育にどう貢献できるかを考察する。
  論文  参考訳（メタデータ） (2023-12-03T17:51:07Z)
• LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
  Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。 ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。 In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T17:05:59Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  本稿では,インストラクションチューニング(IT)の急速な発展分野における研究成果について調査する。 本稿では、指定しない場合を除き、命令チューニング(IT)は教師付き微調整(SFT)と等価である。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A Preliminary Study on Writing Assistance [60.40541387785977]
  小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。 本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。 実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-05-22T16:56:44Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• SETSum: Summarization and Visualization of Student Evaluations of Teaching [74.76373136325032]
  学生の教育評価(SET)は、大学や大学で広く使われている。 SETSumは、インストラクターや他のレビュアーにSETの調査結果の組織化されたイラストを提供している。
  論文  参考訳（メタデータ） (2022-07-08T01:40:11Z)
• OPAD: An Optimized Policy-based Active Learning Framework for Document Content Analysis [6.159771892460152]
  文書のコンテンツ検出タスクにおける能動的学習のための強化ポリシーを用いた新しいフレームワークであるtextitOPADを提案する。 フレームワークは、取得機能を学び、パフォーマンスメトリクスを最適化しながら、選択するサンプルを決定する。 本稿では,文書理解に関わる様々なタスクに対する能動的学習のためのテキストOPADフレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-01T07:40:56Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。