論文の概要: Evaluation of ChatGPT Feedback on ELL Writers' Coherence and Cohesion
- arxiv url: http://arxiv.org/abs/2310.06505v1
- Date: Tue, 10 Oct 2023 10:25:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 15:57:22.325093
- Title: Evaluation of ChatGPT Feedback on ELL Writers' Coherence and Cohesion
- Title（参考訳）: ell作家のコヒーレンスとコヒーレンスに対するchatgptフィードバックの評価
- Authors: Su-Youn Yoon, Eva Miszoglad, Lisa R. Pierce
- Abstract要約: ChatGPTは、学生が宿題を手伝うために利用し、教師が教育実践に積極的に採用している教育に変革をもたらす。
本研究は,英語学習者(ELL)のエッセイの一貫性と凝集性について,ChatGPTが生み出したフィードバックの質を評価した。
- 参考スコア（独自算出の注目度）: 0.7028778922533686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since its launch in November 2022, ChatGPT has had a transformative effect on
education where students are using it to help with homework assignments and
teachers are actively employing it in their teaching practices. This includes
using ChatGPT as a tool for writing teachers to grade and generate feedback on
students' essays. In this study, we evaluated the quality of the feedback
generated by ChatGPT regarding the coherence and cohesion of the essays written
by English Language Learners (ELLs) students. We selected 50 argumentative
essays and generated feedback on coherence and cohesion using the ELLIPSE
rubric. During the feedback evaluation, we used a two-step approach: first,
each sentence in the feedback was classified into subtypes based on its
function (e.g., positive reinforcement, problem statement). Next, we evaluated
its accuracy and usability according to these types. Both the analysis of
feedback types and the evaluation of accuracy and usability revealed that most
feedback sentences were highly abstract and generic, failing to provide
concrete suggestions for improvement. The accuracy in detecting major problems,
such as repetitive ideas and the inaccurate use of cohesive devices, depended
on superficial linguistic features and was often incorrect. In conclusion,
ChatGPT, without specific training for the feedback generation task, does not
offer effective feedback on ELL students' coherence and cohesion.
- Abstract（参考訳）: 2022年11月のサービス開始以来、ChatGPTは学生が宿題を手伝うために利用し、教師が教育実践に積極的に利用している教育に変革をもたらした。
例えば、ChatGPTは、教師が生徒のエッセイを格付けし、フィードバックを生成するためのツールである。
本研究では,英語学習者(ells)が書いたエッセイの一貫性と結束性について,chatgptが生成するフィードバックの質を評価した。
ELIPSEルーブリックを用いて,50の議論的エッセイを選択し,コヒーレンスと凝集に関するフィードバックを得た。
フィードバック評価では、まず、フィードバックの各文をその機能に基づいてサブタイプ(例えば、正の強化、問題文)に分類した。
次に,これらのタイプによる精度とユーザビリティを評価した。
フィードバックタイプの分析と精度とユーザビリティの評価により,ほとんどのフィードバック文は抽象的で汎用的であり,改善のための具体的な提案が得られなかった。
繰り返しアイデアや凝集装置の不正確な使用などの大きな問題を検出する精度は、表面言語的特徴に依存し、しばしば誤りであった。
結論として,ChatGPTはフィードバック生成タスクの特定の訓練を受けずに,EL学生のコヒーレンスと結束に対する効果的なフィードバックを提供していない。
関連論文リスト
- Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。
粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。
きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
論文 参考訳（メタデータ） (2024-06-24T17:19:34Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Learning from Implicit User Feedback, Emotions and Demographic Information in Task-Oriented and Document-Grounded Dialogues [52.95506649193427]
FEDIは、この情報に注釈を付けた最初の英語タスク指向および文書地上対話データセットである。
Flan-T5、GPT-2、Llama 2の実験では、タスクの完了と実際の一貫性に特に肯定的な影響が示されている。
論文 参考訳（メタデータ） (2024-01-17T14:52:26Z) - Can ChatGPT Play the Role of a Teaching Assistant in an Introductory
Programming Course? [1.8197265299982013]
本稿では,LLM である ChatGPT をプログラミング入門コースで仮想指導アシスタント (TA) として活用する可能性について検討する。
本研究は,ChatGPTの性能をヒトTAの機能と比較することにより評価する。
論文 参考訳（メタデータ） (2023-12-12T15:06:44Z) - Scalable Two-Minute Feedback: Digital, Lecture-Accompanying Survey as a Continuous Feedback Instrument [0.0]
コースや講義の内容に関する詳細なフィードバックは、改善に不可欠であり、またリフレクションのツールとしても機能します。
本論文は,学生のストレスを定量的に測定し,質的部分における参加者の反射に対処するための形式的フィードバックとして,デジタルサーベイ形式を用いた。
回答は、主に講義内容や組織的側面のトピックをカバーし、講義内の問題を報告するために集中的に使用された。
論文 参考訳（メタデータ） (2023-10-30T08:14:26Z) - Exploring the effectiveness of ChatGPT-based feedback compared with
teacher feedback and self-feedback: Evidence from Chinese to English
translation [1.25097469793837]
最先端のAIを搭載したChatGPTは、与えられたコマンドに対して素早くレスポンスを生成することができる。
本研究は,中国語訳文の改訂版と,中国語訳文(MTI)の学生による英語訳文を比較した。
論文 参考訳（メタデータ） (2023-09-04T14:54:39Z) - Distilling ChatGPT for Explainable Automated Student Answer Assessment [19.604476650824516]
本稿では,最先端の大規模言語モデルであるChatGPTを用いて,学生の回答スコアリングと合理性生成の同時タスクを探索する新しいフレームワークを提案する。
提案手法は,ChatGPTと比較してQWK全体のスコアを11%改善することを示した。
論文 参考訳（メタデータ） (2023-05-22T12:11:39Z) - Exploring the Efficacy of ChatGPT in Analyzing Student Teamwork Feedback
with an Existing Taxonomy [0.0]
ChatGPTは、学生コメントのラベル付けにおいて90%以上の精度を達成することができる。
この研究は、教育的文脈におけるAIモデルの利用に関する研究の活発化に寄与する。
論文 参考訳（メタデータ） (2023-05-09T19:55:50Z) - DeltaScore: Fine-Grained Story Evaluation with Perturbations [69.33536214124878]
DELTASCOREは,ニュアンスストーリーの側面の評価に摂動技術を用いた新しい手法である。
私たちの中心的な命題は、物語が特定の側面(例えば、流感)で興奮する程度は、特定の摂動に対するその感受性の大きさと相関している、と仮定している。
事前学習言語モデルを用いて,前摂動状態と後摂動状態の確率差を計算することにより,アスペクトの品質を測定する。
論文 参考訳（メタデータ） (2023-03-15T23:45:54Z) - A Unified Dual-view Model for Review Summarization and Sentiment
Classification with Inconsistency Loss [51.448615489097236]
ユーザーレビューから正確な要約と感情を取得することは、現代のEコマースプラットフォームにとって不可欠な要素である。
本稿では,これら2つのタスクの性能を協調的に改善する新しいデュアルビューモデルを提案する。
異なる領域の4つの実世界のデータセットに対する実験結果から,本モデルの有効性が示された。
論文 参考訳（メタデータ） (2020-06-02T13:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。