論文の概要: Multi-Dimensional Evaluation of LLMs for Grammatical Error Correction

• arxiv url: http://arxiv.org/abs/2605.07635v1
• Date: Fri, 08 May 2026 12:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.028161
• Title: Multi-Dimensional Evaluation of LLMs for Grammatical Error Correction
• Title（参考訳）: 文法的誤り訂正のためのLLMの多次元評価
• Authors: Adnan Labib, Qiao Wang, Yixuan Huang, Zheng Yuan,
• Abstract要約: 最新のLarge Language Models (LLMs) について, 編集精度, 潜時保存率, 保持率について検討した。 細調整のGPT-4oは,3次元すべてにわたる最先端性能を実現する。 GPT-4o 補正の73.76%がゴールド標準と同等かそれ以上の精度である。
• 参考スコア（独自算出の注目度）: 16.867521502670296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated assistants for Grammatical Error Correction are now embedded in educational platforms serving millions of learners, yet three critical gaps remain in this domain: (1) latest-generation Large Language Models (LLMs) lack comprehensive evaluation on grammar correction tasks; (2) whether combining these LLMs improves correction quality is unexplored; and (3) the extent to which reference-based metrics underestimate GEC system performance has not been adequately quantified. In this study, first, we evaluate latest-generation LLMs on edit precision, fluency preservation, and meaning retention, showing fine-tuned GPT-4o achieves state-of-the-art performance across all three dimensions. Second, through grammatical error type analysis we demonstrate that individual LLMs exhibit highly similar error correction patterns ($ρ=0.947$). Third, we show that reference-based metrics underestimate GEC performance with 73.76% of GPT-4o corrections different from gold standards being equally valid or even superior. These GEC evaluation findings equip educators with guidance for selecting GEC assistants that enhance rather than constrain student linguistic development. We make our data, code, and models publicly available.
• Abstract（参考訳）: 文法的誤り訂正のための自動アシスタントは、現在、何百万人もの学習者を対象とした教育プラットフォームに組み込まれているが、この領域には、(1)最新の大規模言語モデル(LLM)が文法修正タスクの包括的な評価を欠いていること、(2)これらのLLMを組み合わせることで補正品質が改善されているか否か、(3)基準ベースメトリクスがECCシステムの性能を過小評価していないこと、の3つの重要なギャップが残っている。 本研究は,まず,編集精度,フラエンシ保存,意味保持に関する最新のLCMを評価し,細調整のGPT-4oが3次元すべてにわたって最先端の性能を達成することを示す。 第二に、文法的誤り型解析により、個々のLLMが非常によく似た誤り訂正パターン(ρ=0.947$)を示すことを示した。 第3に、GPT-4oの補正の73.76%が、金の基準が等しく有効であるか、さらに優れているかを基準ベースの指標が過小評価していることを示す。 これらのGEC評価は、学生言語発達を制約するのではなく、強化されたGECアシスタントを選択するための指導を取り入れた教育者である。 データ、コード、モデルを公開しています。

関連論文リスト

• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• CLEME2.0: Towards Interpretable Evaluation by Disentangling Edits for Grammatical Error Correction [29.017965285565765]
  CLEME2.0**は、ヒット補正、誤補正、アンダーコレクト、オーバーコレクトを記述した参照ベースのメトリクスである。 2つの人的判断データセットと6つの基準データセットの実験により,本手法の有効性とロバスト性を実証した。
  論文  参考訳（メタデータ） (2024-07-01T03:35:58Z)
• Large Language Models Are State-of-the-Art Evaluator for Grammatical Error Correction [14.822205658480813]
  大規模言語モデル(LLM)は、いくつかのタスクにおいて既存の自動評価指標より優れていることが報告されている。 本研究では, 文法的誤り訂正(GEC)評価におけるLLMの性能について, 従来の研究から着想を得たプロンプトを用いて検討した。
  論文  参考訳（メタデータ） (2024-03-26T09:43:15Z)
• Rethinking the Roles of Large Language Models in Chinese Grammatical Error Correction [62.409807640887834]
  中国語の文法的誤り訂正(CGEC)は、入力文中のすべての文法的誤りを修正することを目的としている。 CGECの修正器としてのLLMの性能は、課題の焦点が難しいため不満足なままである。 CGECタスクにおけるLCMの役割を再考し、CGECでよりよく活用し、探索できるようにした。
  論文  参考訳（メタデータ） (2024-02-18T01:40:34Z)
• Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
  ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-01-29T17:17:42Z)
• Evaluation of really good grammatical error correction [0.0]
  文法的誤り訂正(GEC)は、異なる目的を持つ様々なモデルを含んでいる。 従来の評価手法では、システム機能や目的を完全に把握できない。
  論文  参考訳（メタデータ） (2023-08-17T13:45:35Z)
• Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction [28.58384091374763]
  GPT-3とGPT-4モデルは強力で、様々な自然言語処理タスクで高い性能を発揮する。 GPT-3.5 モデル (text-davinci-003) と GPT-4 モデル (gpt-4-0314) の機能を GEC ベンチマークで検証した。 BEA-2019およびJFLEGデータセットにおける最良プロンプトの性能について報告する。
  論文  参考訳（メタデータ） (2023-03-25T03:08:49Z)
• LM-Critic: Language Models for Unsupervised Grammatical Error Correction [128.9174409251852]
  文を文法的に判断する LM-Critic の定義において,事前訓練された言語モデル (LM) の活用法を示す。 このLM-Critic と BIFI と、ラベルなし文の集合を併用して、現実的な非文法的/文法的ペアをブートストラップし、修正子を訓練する。
  論文  参考訳（メタデータ） (2021-09-14T17:06:43Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。