論文の概要: ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback
- arxiv url: http://arxiv.org/abs/2107.14035v1
- Date: Fri, 23 Jul 2021 22:41:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-01 12:01:39.409779
- Title: ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback
- Title（参考訳）: ProtoTransformer: 学生のフィードバックを提供するメタラーニングアプローチ
- Authors: Mike Wu, Noah Goodman, Chris Piech, Chelsea Finn
- Abstract要約: 本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
- 参考スコア（独自算出の注目度）: 54.142719510638614
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-quality computer science education is limited by the difficulty of
providing instructor feedback to students at scale. While this feedback could
in principle be automated, supervised approaches to predicting the correct
feedback are bottlenecked by the intractability of annotating large quantities
of student code. In this paper, we instead frame the problem of providing
feedback as few-shot classification, where a meta-learner adapts to give
feedback to student code on a new programming question from just a few examples
annotated by instructors. Because data for meta-training is limited, we propose
a number of amendments to the typical few-shot learning framework, including
task augmentation to create synthetic tasks, and additional side information to
build stronger priors about each task. These additions are combined with a
transformer architecture to embed discrete sequences (e.g. code) to a
prototypical representation of a feedback class label. On a suite of few-shot
natural language processing tasks, we match or outperform state-of-the-art
performance. Then, on a collection of student solutions to exam questions from
an introductory university course, we show that our approach reaches an average
precision of 88% on unseen questions, surpassing the 82% precision of teaching
assistants. Our approach was successfully deployed to deliver feedback to
16,000 student exam-solutions in a programming course offered by a tier 1
university. This is, to the best of our knowledge, the first successful
deployment of a machine learning based feedback to open-ended student code.
- Abstract（参考訳）: 高品質なコンピュータサイエンス教育は、大規模な学生にインストラクターのフィードバックを提供することの難しさによって制限されている。
このフィードバックは原則として自動化される可能性があるが、正しいフィードバックを予測するための教師付きアプローチは、大量の学生コードの注釈付けの難しさによってボトルネックとなる。
そこで,本研究では,メタラーナーが,教師が注釈付けしたいくつかの例から,新たなプログラミング問題に対する学生コードへのフィードバックをフィードバックするために適応する。
メタトレーニングのためのデータは限られているため、合成タスクを作成するタスク拡張や、各タスクに関するより強力な事前情報を構築するためのサイド情報など、典型的な数ショット学習フレームワークに対する多くの修正を提案する。
これらの追加は、離散シーケンス(例えば)を埋め込むトランスフォーマーアーキテクチャと組み合わせられる。
コード) フィードバッククラスラベルのプロトタイプ表現へ。
数ショットの自然言語処理タスクのスイートでは、最先端のパフォーマンスにマッチするか、向上します。
そして,初等教育課程の受験問題に対する学生ソリューションのコレクションにおいて,学習指導者の82%の精度を上回って,見当たらない質問に対して平均88%の精度に到達したことを示す。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
これは、私たちの知る限りでは、機械学習ベースのフィードバックをオープンエンドの学生コードに展開する最初の成功例です。
関連論文リスト
- Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。
本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。
提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
論文 参考訳（メタデータ） (2024-08-29T12:34:01Z) - CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。
学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。
本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
論文 参考訳（メタデータ） (2024-06-07T19:10:35Z) - YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。
モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。
実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
論文 参考訳（メタデータ） (2024-01-28T14:32:15Z) - Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
論文 参考訳（メタデータ） (2022-11-16T10:00:23Z) - Feedback and Engagement on an Introductory Programming Module [0.0]
自動フィードバックを生成するタスクを含むオンライン学習環境を利用した1年目のプログラミングモジュールにおいて,エンゲージメントと達成度について調査を行った。
エンゲージメントと達成度に関する定量的データを収集し、コホートを6つのグループに分割しました。
その後、モジュールの終了後、学生にインタビューを行い、フィードバックが何であるか、どのくらい有用か、その使用方法、エンゲージメントにどう耐えられるか、といった、質的なデータを生成しました。
論文 参考訳（メタデータ） (2022-01-04T16:53:09Z) - Learning Online from Corrective Feedback: A Meta-Algorithm for Robotics [24.863665993509997]
模倣学習(il)における鍵となる課題は、最適な状態行動のデモンストレーションは教師が提供するのが難しいことである。
状態行動のデモンストレーションの代替として、教師は好みや報酬などの修正的なフィードバックを提供することができる。
このアプローチは、さまざまなノイズフィードバックから素早く学習できることを示します。
論文 参考訳（メタデータ） (2021-04-02T12:42:12Z) - Deep Discourse Analysis for Generating Personalized Feedback in
Intelligent Tutor Systems [4.716555240531893]
ITS(Intelligent Tutoring System)で、自動化されたパーソナライズされたフィードバックの作成を検討します。
我々のゴールは、学生のより優れた学習目標を達成するために、学生の回答の正しい概念と間違った概念を見極めることである。
論文 参考訳（メタデータ） (2021-03-13T20:33:10Z) - Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。
メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。
これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2020-12-14T18:05:24Z) - Effects of Human vs. Automatic Feedback on Students' Understanding of AI
Concepts and Programming Style [0.0]
自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。
コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。
本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
論文 参考訳（メタデータ） (2020-11-20T21:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。