論文の概要: You're (Not) My Type -- Can LLMs Generate Feedback of Specific Types for Introductory Programming Tasks?

• arxiv url: http://arxiv.org/abs/2412.03516v1
• Date: Wed, 04 Dec 2024 17:57:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:37.648785
• Title: You're (Not) My Type -- Can LLMs Generate Feedback of Specific Types for Introductory Programming Tasks?
• Title（参考訳）: 私のタイプです - LLMは、導入プログラミングタスクの特定のタイプのフィードバックを生成することができますか?
• Authors: Dominic Lohr, Hieke Keuning, Natalie Kiesler,
• Abstract要約: 本稿では,Large Language Models (LLM) を用いたプログラミングタスクに対して,特定のタイプのフィードバックを生成することを目的とする。 既存のフィードバックを見直して、ランダム性、不確実性、変動度などの、生成されたフィードバックの特異性を捉える。 結果は、例えば、フィードバック効果や学習者の情報的ニーズに関する将来のフィードバック研究に影響を及ぼす。
• 参考スコア（独自算出の注目度）: 0.4779196219827508
• License:
• Abstract: Background: Feedback as one of the most influential factors for learning has been subject to a great body of research. It plays a key role in the development of educational technology systems and is traditionally rooted in deterministic feedback defined by experts and their experience. However, with the rise of generative AI and especially Large Language Models (LLMs), we expect feedback as part of learning systems to transform, especially for the context of programming. In the past, it was challenging to automate feedback for learners of programming. LLMs may create new possibilities to provide richer, and more individual feedback than ever before. Objectives: This paper aims to generate specific types of feedback for introductory programming tasks using LLMs. We revisit existing feedback taxonomies to capture the specifics of the generated feedback, such as randomness, uncertainty, and degrees of variation. Methods: We iteratively designed prompts for the generation of specific feedback types (as part of existing feedback taxonomies) in response to authentic student programs. We then evaluated the generated output and determined to what extent it reflected certain feedback types. Results and Conclusion: The present work provides a better understanding of different feedback dimensions and characteristics. The results have implications for future feedback research with regard to, for example, feedback effects and learners' informational needs. It further provides a basis for the development of new tools and learning systems for novice programmers including feedback generated by AI.
• Abstract（参考訳）: 背景: 学習の最も影響力のある要因の1つとしてのフィードバックは、大きな研究対象となっている。 教育技術システムの開発において重要な役割を担い、伝統的に専門家とその経験によって定義された決定論的フィードバックに根ざしている。 しかし、生成AI、特にLarge Language Models(LLMs)の台頭に伴い、学習システムの一部として、特にプログラミングの文脈において、フィードバックが変換されることを期待している。 これまでは、プログラミングの学習者へのフィードバックを自動化することは困難だった。 LLMは、これまで以上にリッチで個人のフィードバックを提供する新しい可能性を生み出すかもしれません。 目的:本論文は,LSMを用いた入門プログラミングタスクに対して,特定の種類のフィードバックを生成することを目的としている。 既存のフィードバック分類を見直して、ランダム性、不確実性、変動度など、生成されたフィードバックの特異性を捉える。 方法:本研究は,学生プログラムに応答して,特定のフィードバックタイプ(既存のフィードバック分類の一部として)を生成するためのプロンプトを反復的に設計する。 次に、生成した出力を評価し、それがフィードバックタイプをどの程度反映しているかを決定した。 結果と結論: この研究は、異なるフィードバックの次元と特性をよりよく理解します。 この結果は,例えば,フィードバック効果や学習者の情報的ニーズについて,将来のフィードバック研究に影響を及ぼす。 さらに、AIによって生成されたフィードバックを含む初心者プログラマのための新しいツールや学習システムの開発の基礎も提供する。

関連論文リスト

• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• Can Large Language Models Replicate ITS Feedback on Open-Ended Math Questions? [3.7399138244928145]
  本研究では,大規模言語モデルのオープンエンド数学質問に対するフィードバック生成能力について検討する。 オープンソースのモデルとプロプライエタリなモデルの両方が、トレーニング中に見たフィードバックを複製する可能性を示していますが、以前は見つからなかった学生のエラーに対して、十分に一般化していません。
  論文  参考訳（メタデータ） (2024-05-10T11:53:53Z)
• Students' Perceptions and Preferences of Generative Artificial Intelligence Feedback for Programming [15.372316943507506]
  そこで我々はChatGPT APIを用いて,導入型コンピュータサイエンスクラスにおける4つの実験室割り当てのための自動フィードバックを生成した。 学生は、フィードバックは、Shuteが確立した形式的なフィードバックガイドラインとよく一致していると感じた。 学生は通常、十分なコード例で特定の修正フィードバックを期待していたが、フィードバックのトーンについて意見が分かれていた。
  論文  参考訳（メタデータ） (2023-12-17T22:26:53Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• System-Level Natural Language Feedback [83.24259100437965]
  システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。 検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。 システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
  論文  参考訳（メタデータ） (2023-06-23T16:21:40Z)
• Continually Improving Extractive QA via Human Feedback [59.49549491725224]
  本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。 多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
  論文  参考訳（メタデータ） (2023-05-21T14:35:32Z)
• Generating High-Precision Feedback for Programming Syntax Errors using Large Language Models [23.25258654890813]
  大規模言語モデル(LLM)は,学生のフィードバックを自動的に生成することによって,プログラミング教育の強化に大きく貢献する。 Codexを利用した高精度フィードバック生成技術であるPyFiXVを紹介する。
  論文  参考訳（メタデータ） (2023-01-24T13:00:25Z)
• An Exploratory Analysis of Feedback Types Used in Online Coding Exercises [0.0]
  本研究の目的は,CodingBat,Scratch,Blocklyが適用したフィードバックタイプを特定することである。 この研究は、フィードバックタイプ間の明確な境界を特定することの難しさを明らかにした。
  論文  参考訳（メタデータ） (2022-06-07T07:52:17Z)
• Simulating Bandit Learning from User Feedback for Extractive Question Answering [51.97943858898579]
  教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。 当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2022-03-18T17:47:58Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。