論文の概要: Comparative Analysis of GPT-4 and Human Graders in Evaluating Praise Given to Students in Synthetic Dialogues

• arxiv url: http://arxiv.org/abs/2307.02018v1
• Date: Wed, 5 Jul 2023 04:14:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 15:14:09.909621
• Title: Comparative Analysis of GPT-4 and Human Graders in Evaluating Praise Given to Students in Synthetic Dialogues
• Title（参考訳）: 合成対話における学生の評価評価におけるGPT-4とHuman Gradersの比較分析
• Authors: Dollaya Hirunyasiri, Danielle R. Thomas, Jionghao Lin, Kenneth R. Koedinger, Vincent Aleven
• Abstract要約: AIチャットボットChatGPTのような大規模な言語モデルは、実践的な設定で家庭教師に建設的なフィードバックを提供する可能性を秘めている。 AIが生成したフィードバックの正確性はまだ不明であり、ChatGPTのようなモデルが効果的なフィードバックを提供する能力について研究している。
• 参考スコア（独自算出の注目度）: 2.3361634876233817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research suggests that providing specific and timely feedback to human tutors enhances their performance. However, it presents challenges due to the time-consuming nature of assessing tutor performance by human evaluators. Large language models, such as the AI-chatbot ChatGPT, hold potential for offering constructive feedback to tutors in practical settings. Nevertheless, the accuracy of AI-generated feedback remains uncertain, with scant research investigating the ability of models like ChatGPT to deliver effective feedback. In this work-in-progress, we evaluate 30 dialogues generated by GPT-4 in a tutor-student setting. We use two different prompting approaches, the zero-shot chain of thought and the few-shot chain of thought, to identify specific components of effective praise based on five criteria. These approaches are then compared to the results of human graders for accuracy. Our goal is to assess the extent to which GPT-4 can accurately identify each praise criterion. We found that both zero-shot and few-shot chain of thought approaches yield comparable results. GPT-4 performs moderately well in identifying instances when the tutor offers specific and immediate praise. However, GPT-4 underperforms in identifying the tutor's ability to deliver sincere praise, particularly in the zero-shot prompting scenario where examples of sincere tutor praise statements were not provided. Future work will focus on enhancing prompt engineering, developing a more general tutoring rubric, and evaluating our method using real-life tutoring dialogues.
• Abstract（参考訳）: 人間の家庭教師に特定のタイムリーなフィードバックを提供することによって、パフォーマンスが向上することを研究は示唆している。 しかし、人間の評価者によるチューターのパフォーマンスを評価するのに時間を要するため、課題が提示される。 aiチャットボットchatgptのような大きな言語モデルは、実践的な環境で家庭教師に建設的なフィードバックを提供する可能性を秘めている。 それでも、ChatGPTのようなモデルが効果的なフィードバックを提供する能力を調査しているため、AIが生成したフィードバックの正確性は依然として不明である。 本研究では,gpt-4で生成した30の対話をチューター・スチューデント設定で評価する。 思考のゼロショット連鎖と思考のマイナショット連鎖という2つの異なるプロンプトアプローチを用いて,5つの基準に基づいて,効果的な賞賛の具体的構成要素を同定した。 これらのアプローチは、正確性のために人間のグレーダの結果と比較される。 我々の目標は、GPT-4がそれぞれの賞賛基準を正確に識別できる範囲を評価することである。 ゼロショットと少数ショットの思考アプローチの両方が、同等の結果をもたらすことがわかった。 GPT-4は、チューターが具体的かつ即時的な賞賛を提供する場合、インスタンスの識別において適度に機能する。 しかし、GPT-4は、特に、誠実なチューターの賞賛文の例が提供されていないゼロショットプロンプトシナリオにおいて、誠実な賞賛を与えるテューターの能力を識別する能力が不足している。 今後の研究は、プロンプトエンジニアリングの強化、より汎用的なチューリングルーブリックの開発、実生活におけるチューリング対話を用いた手法の評価に焦点を当てる。

関連論文リスト

• Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
  我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
  論文  参考訳（メタデータ） (2024-11-07T22:51:47Z)
• Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models [92.66784679667441]
  プロメテウス2は、人間とGPT-4の判断を密接に反映するより強力な評価器である。 ユーザ定義評価基準でグループ化された、直接評価とペアのランキングフォーマットの両方を処理できる。 4つの直接評価ベンチマークと4つのペアのランキングベンチマークで、Prometheus 2は人間と独自のLM判事との相関と合意を最も高く評価している。
  論文  参考訳（メタデータ） (2024-05-02T17:59:35Z)
• How Can I Get It Right? Using GPT to Rephrase Incorrect Trainee Responses [2.2077346768771653]
  ワン・ワン・ワン・チュータリングは、有資格家庭教師に条件付けされた効果的な指導方法として広く認められている。 GPT-4モデルは説明フィードバックシステムを構築するために使用された。 本システムは,学習者の反応を二分形式(すなわち正しい/正しくない)で識別し,GPT-4モデルで適切に表現された応答をテンプレートベースのフィードバックとして自動的に提供する。
  論文  参考訳（メタデータ） (2024-05-02T03:18:03Z)
• How Can I Improve? Using GPT to Highlight the Desired and Undesired Parts of Open-ended Responses [11.809647985607935]
  提案手法は,説明的フィードバックを提供する上で,望ましい,望ましくないコンポーネントを識別することに焦点を当てたシーケンスラベリング手法を提案する。 GPTモデルにより同定された強調された賞賛成分の品質を定量化するため,M-IoU(Modified Intersection over Union)スコアを導入した。 以上の結果から,(1)M-IoUスコアはシーケンス品質評価における人的判断と効果的に相関し,(2)GPT-3.5上での2ショットプロンプトは,努力に基づく評価と成果に基づく評価の認識において良好な性能を示し,(3)M-IoUスコアの0.6が最適微調整GPT-3.5モデルであった。
  論文  参考訳（メタデータ） (2024-05-01T02:59:10Z)
• Automated Assessment of Encouragement and Warmth in Classrooms Leveraging Multimodal Emotional Features and ChatGPT [7.273857543125784]
  本研究は,教室における暖かさと励ましを自動的に推定するマルチモーダルアプローチである。 映像,音声,転写データから解釈可能な特徴を抽出するために,感情分析を用いた顔と音声の感情認識を用いた。 92の授業記録から367の16分間のビデオセグメントを含むGTIデータセットに対するアプローチを実証した。
  論文  参考訳（メタデータ） (2024-04-01T16:58:09Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• GPT-4V(ision) as a Generalist Evaluator for Vision-Language Tasks [70.98062518872999]
  我々は,GPT-4Vの性能評価,基本画像からテキストへの合成,高レベル画像から画像への変換,複数画像からテキストへのアライメントといったタスクに対処する能力を検証する。 特に、GPT-4Vは、様々なタスクや評価方法にまたがって人間と有望な合意を示し、マルチモーダルLCMを評価対象として持つ可能性を示している。
  論文  参考訳（メタデータ） (2023-11-02T16:11:09Z)
• ARB: Advanced Reasoning Benchmark for Large Language Models [94.37521840642141]
  複数の分野における先進的推論問題からなる新しいベンチマークであるABBを紹介する。 ARBのサブセットとして、高度なシンボリック推論とドメイン知識を必要とする数学と物理学の問題を紹介する。 我々は, GPT-4 や Claude on ARB などの最近のモデルを評価し, より要求の高いタスクにおいて, 現在のモデルが50%以下であることを示す。
  論文  参考訳（メタデータ） (2023-07-25T17:55:19Z)
• Distilling ChatGPT for Explainable Automated Student Answer Assessment [19.604476650824516]
  本稿では,最先端の大規模言語モデルであるChatGPTを用いて,学生の回答スコアリングと合理性生成の同時タスクを探索する新しいフレームワークを提案する。 提案手法は,ChatGPTと比較してQWK全体のスコアを11%改善することを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:11:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。