論文の概要: Using GPT-4 to Augment Unbalanced Data for Automatic Scoring

• arxiv url: http://arxiv.org/abs/2310.18365v3
• Date: Fri, 6 Sep 2024 03:08:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 20:53:23.512287
• Title: Using GPT-4 to Augment Unbalanced Data for Automatic Scoring
• Title（参考訳）: GPT-4を用いた自動スコーリングのためのアンバランスデータの拡張
• Authors: Luyang Fang, Gyeong-Geon Lee, Xiaoming Zhai,
• Abstract要約: 生成型大規模言語モデルである GPT-4 を利用した新しいテキストデータ拡張フレームワークを提案する。 我々は GPT-4 で応答を生成するプロンプトを作成した。 拡張データセットとオリジナルデータセットに基づいて自動スコアリングのためにDistillBERTを微調整した。
• 参考スコア（独自算出の注目度）: 0.5586073503694489
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning-based automatic scoring faces challenges with unbalanced student responses across scoring categories. To address this, we introduce a novel text data augmentation framework leveraging GPT-4, a generative large language model, specifically tailored for unbalanced datasets in automatic scoring. Our experimental dataset comprised student written responses to four science items. We crafted prompts for GPT-4 to generate responses, especially for minority scoring classes, enhancing the data set. We then finetuned DistillBERT for automatic scoring based on the augmented and original datasets. Model performance was assessed using accuracy, precision, recall, and F1 metrics. Our findings revealed that incorporating GPT-4-augmented data remarkedly improved model performance, particularly for precision and F1 scores. Interestingly, the extent of improvement varied depending on the specific dataset and the proportion of augmented data used. Notably, we found that a varying amount of augmented data (20%-40%) was needed to obtain stable improvement for automatic scoring. Comparisons with models trained on additional student-written responses suggest that GPT-4 augmented models match those trained with student data. This research underscores the potential and effectiveness of data augmentation techniques utilizing generative large language models like GPT-4 in addressing unbalanced datasets within automated assessment.
• Abstract（参考訳）: 機械学習に基づく自動スコアリングは、スコアリングカテゴリ間で不均衡な学生反応を伴う課題に直面している。 そこで本稿では,GPT-4を利用した新たなテキストデータ拡張フレームワークを提案する。 実験データセットは,4つの科学項目に対する学生の回答から構成した。 我々は、GPT-4が応答を生成するプロンプト、特にマイノリティスコアリングクラスを作成し、データセットを強化した。 次に、拡張データセットとオリジナルデータセットに基づいて自動スコアリングのためにDistillBERTを微調整した。 モデル性能は精度、精度、リコール、F1メトリクスを用いて評価された。 以上の結果から, GPT-4を付加したデータの導入により, モデル性能, 特に精度, F1スコアが向上することが示唆された。 興味深いことに、改善の程度は特定のデータセットと使用される拡張データの割合によって異なる。 特に,自動スコアリングのための安定的な改善を得るためには,各種データ(20%～40%)が必要であった。 追加の学生による回答で訓練されたモデルと比較すると、GPT-4強化モデルは学生データで訓練されたモデルと一致することが示唆される。 本研究は,GPT-4のような生成的大言語モデルを用いて,自動評価における不均衡データセットに対処するデータ拡張手法の可能性と有効性を明らかにする。

関連論文リスト

• Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
  我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
  論文  参考訳（メタデータ） (2024-11-07T22:51:47Z)
• Leveraging Web-Crawled Data for High-Quality Fine-Tuning [24.19939701706869]
  我々は、GPT-4のような先進的なモデルに頼ることなく、高品質な教師付き微調整のための貴重な情報源として、Webcrawled Dataが有効であると主張している。 我々は、Webcrawledデータをより小さな高品質なデータ集合と整列させることで、ペア化されたトレーニングデータセットを自動生成する。 実験の結果, モデル変換データを用いた学習は, 中国における数学問題の平均スコア9.4%で, 高品質なデータのみによるトレーニングを上回り, より良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-08-15T08:12:52Z)
• Automated Root Causing of Cloud Incidents using In-Context Learning with GPT-4 [23.856839017006386]
  ルート原因分析(RCA)は、クラウドサービスのインシデント診断プロセスにおいて重要な役割を果たす。 GPT-4モデルの巨大なサイズは、ユーザデータにそれを微調整しようとする際の課題を示す。 そこで本研究では,自動ルート生成のためのコンテキスト内学習手法を提案し,微調整の必要性を排除した。
  論文  参考訳（メタデータ） (2024-01-24T21:02:07Z)
• NERIF: GPT-4V for Automatic Scoring of Drawn Models [0.6278186810520364]
  最近リリースされたGPT-4Vは、科学的モデリングの実践を前進させるユニークな機会を提供する。 我々は,GPT-4Vに学生の描画モデルを評価するための指導音とルーブリックを用いた手法を開発した。 GPT-4Vのスコアを人間の専門家のスコアと比較し、スコアの精度を計算した。
  論文  参考訳（メタデータ） (2023-11-21T20:52:04Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• TRIAGE: Characterizing and auditing training data for improved regression [80.11415390605215]
  TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。 TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。 TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T10:31:59Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)
• Instruction Tuning with GPT-4 [107.55078894215798]
  本稿では, GPT-4を用いて命令追従データを生成し, 大規模言語モデルを微調整する試みについて述べる。 命令調整型LLaMAモデルの初期実験では、52Kの英語と中国語の命令追従データがGPT-4によって生成され、新しいタスクにおけるゼロショット性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-06T17:58:09Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)
• Improving Performance of Automated Essay Scoring by using back-translation essays and adjusted scores [0.0]
  バックトランスレーションとスコア調整を用いたエッセイスコアペア数を増やす手法を提案する。 先行作業から得られたモデルを用いて,拡張データの有効性を評価する。 モデルをトレーニングするために拡張データを使用することで、モデルの性能が向上した。
  論文  参考訳（メタデータ） (2022-03-01T11:05:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。