論文の概要: How Well Does AI-Generated Feedback Work? Intrinsic and Extrinsic Evaluation across more than 20,000 EFL Essay Drafts

• arxiv url: http://arxiv.org/abs/2607.14591v1
• Date: Thu, 16 Jul 2026 05:38:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.003151
• Title: How Well Does AI-Generated Feedback Work? Intrinsic and Extrinsic Evaluation across more than 20,000 EFL Essay Drafts
• Title（参考訳）: AIが生み出すフィードバックは、どのように機能するのか? 内在的および外在的評価は2万点以上のEFLエッセイドラフトにまたがる
• Abstract要約: 本研究は、英語における文脈記述の文脈としてのフィードバックについて検討し、文章修正フィードバック(WCF)に着目した。 大規模言語モデル(LLM)は、大規模にWCFを提供することができるが、それらを教育的なベストプラクティスと整合させることは、現在も進行中の課題である。
• 参考スコア（独自算出の注目度）: 23.21912420340251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study examines feedback in English as a Foreign Language (EFL) writing contexts, focusing on written corrective feedback (WCF). Large language models (LLMs) can provide WCF at scale, but aligning them with pedagogical best practices remains an ongoing challenge. WCF meeting criteria like factuality or relevance may still be unsuitable for learning contexts, highlighting the need for extrinsic evaluation based on the learner's perspective. We deployed WCF systems in a university-level EFL class with nearly 2,000 students, collecting over 20,000 drafts. We evaluated the generated WCF from two perspectives: intrinsic evaluation by experienced English teachers using a rubric, and extrinsic evaluation via student feedback and engagement metrics. Results revealed low alignment between teacher expert ratings and student feedback. These findings suggest that traditional expert evaluation alone may not fully capture WCF's usability or helpfulness from the learner's perspective, highlighting the importance of learner-centered evaluation frameworks for AI-based applications in language education.
• Abstract（参考訳）: 本研究は,英語における文脈記述言語(EFL)としてのフィードバックについて検討し,文章修正フィードバック(WCF)に着目した。 大規模言語モデル(LLM)は、大規模にWCFを提供することができるが、それらを教育的なベストプラクティスと整合させることは、現在も進行中の課題である。 事実性や関連性のようなWCFミーティングの基準は、学習コンテキストには相応しいものであり、学習者の視点に基づく外在的評価の必要性を強調している。 我々は2000人近い学生を擁する大学レベルのEFLクラスにWCFシステムを導入し、2万件以上のドラフトを収集した。 筆者らは,経験豊富な英語教師による本質的な評価と,学生のフィードバックとエンゲージメントの指標による本質的な評価という2つの観点から,生成されたWCFを評価した。 その結果,教師の専門的評価と学生のフィードバックの相関が低かった。 これらの結果から,従来の専門家による評価だけでは,学習者の視点からWCFのユーザビリティや有用性を十分に把握できない可能性が示唆され,言語教育におけるAIベースのアプリケーションに対する学習者中心評価フレームワークの重要性が強調された。

関連論文リスト

• Learning in Blocks: A Multi Agent Debate Assisted Personalized Adaptive Learning Framework for Language Learning [0.0]
  本稿では,CEFR対応のルーブリックを用いて,会話能力の実証を行うフレームワークであるLearning in Blocksを紹介する。 ESLの専門家によるCEFR A2会話のスコアリングとレコメンデーションの4つの手法をベンチマークした。 180 CEFR A2の学習者による8週間の研究では、ルーブリックのスコアリングとレコメンデーションをスペースドレビューとマスタリーベースの進捗と組み合わせることで、フィードバック単独よりも優れた学習結果が得られることが示されている。
  論文  参考訳（メタデータ） (2026-03-29T09:38:41Z)
• Beyond Accuracy: Towards a Robust Evaluation Methodology for AI Systems for Language Education [0.0]
  AIによる言語教育における大規模言語モデルの急速な採用は、教育的効果を評価するための評価を緊急に必要としてきた。 L2-Benchは、検証済みの「言語学習経験設計者」構築に基礎を置いた、新しい評価ベンチマークである。 本手法は,教育学理論,社会工学的AI評価手法を統合し,階層的な分類法を運用し,専門家が計算したデータセットを構築する。
  論文  参考訳（メタデータ） (2026-03-20T16:13:03Z)
• Exposía: Academic Writing Assessment of Exposés and Peer Feedback [56.428320613219306]
  高等教育における文章とフィードバックアセスメントを結びつける最初の公開データセットであるExposaを提示する。 我々はExposaを使って,(1)提案の自動スコアリング,(2)学生レビューの2つのタスクに対して,最先端のオープンソース大言語モデル(LLM)をベンチマークする。
  論文  参考訳（メタデータ） (2026-01-10T11:33:26Z)
• Disentangling Language and Culture for Evaluating Multilingual Large Language Models [48.06219053598005]
  本稿では,LLMの多言語機能を包括的に評価するデュアル評価フレームワークを提案する。 言語媒体と文化的文脈の次元に沿って評価を分解することにより、LLMが言語間を横断的に処理する能力の微妙な分析を可能にする。
  論文  参考訳（メタデータ） (2025-05-30T14:25:45Z)
• LLM-as-a-Judge & Reward Model: What They Can and Cannot Do [2.2469442203227863]
  自動評価器の総合的な分析を行い,その挙動に関するいくつかの重要な知見を報告する。 英語の評価能力は言語固有の評価能力に大きく影響し,英語で訓練された評価者が他の言語に容易にスキルを伝達できることがわかった。 我々は、現在最先端の評価者が、英語と韓国語の両方において、複雑な推論問題の評価や生成の限界について、挑戦的なプロンプトに苦しむことに気付きました。
  論文  参考訳（メタデータ） (2024-09-17T14:40:02Z)
• STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond [68.47402386668846]
  本研究では,テキストアセスメントをステップワイド推論プロセスとしてモデル化するために,Structured Reasoning In Critical Text Assessment (STRICTA)を導入する。 STRICTAは、因果性理論に基づく相互接続推論ステップのグラフに評価を分解する。 約40人のバイオメディカル専門家が20以上の論文について4000以上の推論ステップのデータセットにSTRICTAを適用した。
  論文  参考訳（メタデータ） (2024-09-09T06:55:37Z)
• Pragmatic Competence Evaluation of Large Language Models for the Korean Language [0.6757476692230009]
  本研究では,Large Language Models (LLMs) が,特に韓国語における実践的視点から,文脈依存表現をいかによく理解しているかを評価する。 自動評価にはMultiple-Choice Questions(MCQ)と、専門家によるOEQ(Open-Ended Questions)の両方を用いる。
  論文  参考訳（メタデータ） (2024-03-19T12:21:20Z)
• F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods [102.98899881389211]
  F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。 参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
  論文  参考訳（メタデータ） (2024-01-26T13:55:32Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• Multi-Dimensional Evaluation of Text Summarization with In-Context Learning [79.02280189976562]
  本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。 実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。 次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-06-01T23:27:49Z)
• CEFR-Based Sentence Difficulty Annotation and Assessment [25.71796445061561]
  CEFRベースのSentence Profile (CEFR-SP) コーパスには、共通ヨーロッパ参照言語フレームワークに基づいた17kの英語文が注釈付けされている。 本研究では, マクロF1スコアの84.5%をレベルアセスメントで達成し, 可読性評価において強いベースラインを達成できた。
  論文  参考訳（メタデータ） (2022-10-21T07:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。