論文の概要: Large Language Model-Driven Dynamic Assessment of Grammatical Accuracy in English Language Learner Writing

• arxiv url: http://arxiv.org/abs/2505.00931v1
• Date: Fri, 02 May 2025 00:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.871903
• Title: Large Language Model-Driven Dynamic Assessment of Grammatical Accuracy in English Language Learner Writing
• Title（参考訳）: 英語学習者記述における文法的精度の大規模言語モデル駆動動的評価
• Authors: Timur Jaganov, John Blake, Julián Villegas, Nicholas Carr,
• Abstract要約: 本研究では,大規模言語モデル(LLM)による動的評価(DA)のスケールアップの可能性について検討する。 このような調査を容易にするために,我々はDynaWrite--モジュラーな文法ベースのチューリングアプリケーションを開発した。 GPT-4oとニューラルチャットは、言語学習教室でDAをスケールアップする可能性が最も高い。
• 参考スコア（独自算出の注目度）: 0.4374837991804086
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This study investigates the potential for Large Language Models (LLMs) to scale-up Dynamic Assessment (DA). To facilitate such an investigation, we first developed DynaWrite-a modular, microservices-based grammatical tutoring application which supports multiple LLMs to generate dynamic feedback to learners of English. Initial testing of 21 LLMs, revealed GPT-4o and neural chat to have the most potential to scale-up DA in the language learning classroom. Further testing of these two candidates found both models performed similarly in their ability to accurately identify grammatical errors in user sentences. However, GPT-4o consistently outperformed neural chat in the quality of its DA by generating clear, consistent, and progressively explicit hints. Real-time responsiveness and system stability were also confirmed through detailed performance testing, with GPT-4o exhibiting sufficient speed and stability. This study shows that LLMs can be used to scale-up dynamic assessment and thus enable dynamic assessment to be delivered to larger groups than possible in traditional teacher-learner settings.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)による動的評価(DA)のスケールアップの可能性を検討する。 このような調査を容易にするために、まずDynaWriteを開発した。DynaWriteはモジュール型のマイクロサービスベースの文法学習アプリケーションで、複数のLLMをサポートし、英語学習者に動的フィードバックを生成する。 21個のLDMを最初にテストしたところ、GPT-4oとニューラルチャットは、言語学習教室でDAをスケールアップする可能性が最も高いことがわかった。 これら2つの候補のさらなるテストでは、どちらのモデルも、ユーザ文の文法的誤りを正確に識別する能力において、同様に実行された。 しかし、GPT-4oは明瞭で一貫性があり、徐々に明示的なヒントを生成することによって、DAの品質においてニューラルチャットを一貫して上回った。 リアルタイム応答性とシステムの安定性も詳細な性能試験により確認され、GPT-4oは十分な速度と安定性を示した。 本研究は,LLMを動的評価のスケールアップに利用することにより,従来の教師・教師設定よりも大きなグループに動的評価を配信できることを示す。

関連論文リスト

• Analysis of LLM as a grammatical feature tagger for African American English [0.6927055673104935]
  アフリカ系アメリカ人英語(AAE)は自然言語処理(NLP)に固有の課題を提示している 本研究では,利用可能なNLPモデルの性能を体系的に比較する。 本研究は,AAEの固有の言語特性をよりよく適合させるために,モデルトレーニングとアーキテクチャ調整の改善の必要性を強調した。
  論文  参考訳（メタデータ） (2025-02-09T19:46:33Z)
• An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient Language Model Inference [38.1823640848362]
  State-of-the-the-art Generative Large Language Model (LLM) は、英語中心のトークン化器、語彙、事前学習データに依存している。 近年の研究では、英語以外の言語でテキストを生成する際に、推論効率が低下することが示されている。
  論文  参考訳（メタデータ） (2024-02-16T14:15:15Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)
• GPT-4 Surpassing Human Performance in Linguistic Pragmatics [0.0]
  本研究では,Large Language Models (LLMs) の言語プラグマティクスの理解と解釈能力について検討した。 Grice のコミュニケーション原理を用いて,LLM とヒトの被験者を対話型タスクに対する応答に基づいて評価した。 以上の結果より, LLM, 特にGPT4は, 実用的解釈において, 人体よりも優れていた。
  論文  参考訳（メタデータ） (2023-12-15T05:40:15Z)
• Native Language Identification with Large Language Models [60.80452362519818]
  我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。 また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T00:52:15Z)
• Sensitivity and Robustness of Large Language Models to Prompt Template in Japanese Text Classification Tasks [0.0]
  重要な問題は、Promptテンプレートに対する大きな言語モデルの不適切な感度と堅牢性である。 本稿では,複数の代表言語モデル (LLM) と広く活用されている事前学習モデル (PLM) の包括的評価を通じて,この問題を考察する。 Promptテンプレートの文構造の変更により, GPT-4の精度は49.21から25.44に大幅に低下した。
  論文  参考訳（メタデータ） (2023-05-15T15:19:08Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。