Fugu-MT 論文翻訳(概要): Evaluation of really good grammatical error correction

論文の概要: Evaluation of really good grammatical error correction

arxiv url: http://arxiv.org/abs/2308.08982v1
Date: Thu, 17 Aug 2023 13:45:35 GMT
ステータス: 処理完了
システム内更新日: 2023-08-21 16:48:11.979582
Title: Evaluation of really good grammatical error correction
Title（参考訳）: 本当に良い文法的誤り訂正の評価
Authors: Robert \"Ostling, Katarina Gillholm, Murathan Kurfal{\i}, Marie Mattson, Mats Wir\'en
Abstract要約: 文法的誤り訂正(GEC)は、異なる目的を持つ様々なモデルを含んでいる。従来の評価手法では、システム機能や目的を完全に把握できない。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Although rarely stated, in practice, Grammatical Error Correction (GEC) encompasses various models with distinct objectives, ranging from grammatical error detection to improving fluency. Traditional evaluation methods fail to fully capture the full range of system capabilities and objectives. Reference-based evaluations suffer from limitations in capturing the wide variety of possible correction and the biases introduced during reference creation and is prone to favor fixing local errors over overall text improvement. The emergence of large language models (LLMs) has further highlighted the shortcomings of these evaluation strategies, emphasizing the need for a paradigm shift in evaluation methodology. In the current study, we perform a comprehensive evaluation of various GEC systems using a recently published dataset of Swedish learner texts. The evaluation is performed using established evaluation metrics as well as human judges. We find that GPT-3 in a few-shot setting by far outperforms previous grammatical error correction systems for Swedish, a language comprising only 0.11% of its training data. We also found that current evaluation methods contain undesirable biases that a human evaluation is able to reveal. We suggest using human post-editing of GEC system outputs to analyze the amount of change required to reach native-level human performance on the task, and provide a dataset annotated with human post-edits and assessments of grammaticality, fluency and meaning preservation of GEC system outputs.
Abstract（参考訳）: しかし、実際には文法的誤り訂正(GEC)は文法的誤り検出から流布率の改善まで、様々な目的のモデルを含んでいる。従来の評価手法では、システムの能力と目的を完全に把握できない。参照ベースの評価は、参照作成時に生じる様々な修正やバイアスを捉える際の限界に悩まされ、全体のテキスト改善よりも局所的なエラーを修正する傾向にある。大規模言語モデル(llm)の出現は、これらの評価戦略の欠点をさらに強調し、評価方法論のパラダイムシフトの必要性を強調した。本研究では,スウェーデン語学習者のテキストのデータセットを用いて,様々なGECシステムの包括的評価を行う。評価は、確立した評価指標と人間の審査員を用いて行われる。その結果, GPT-3は, これまでのスウェーデン語の文法的誤り訂正システムよりもはるかに優れており, トレーニングデータの0.11%に過ぎないことがわかった。また,現在の評価手法は,人間の評価によって明らかになるような望ましくないバイアスを含むことがわかった。本研究は,gecシステム出力のヒューマン・ポスト・エディティングを用いて,タスクにおけるネイティブレベルのヒューマン・パフォーマンスに達するために必要な変化量を分析し,人間のポスト・エディットに注釈を付したデータセットと,gecシステム出力の文法性,フラレンシー,意味保存の評価を提供する。

関連論文リスト

CLEME2.0: Towards More Interpretable Evaluation by Disentangling Edits for Grammatical Error Correction [28.533044857379647]
本稿では,文法的誤り訂正(GEC)メトリクスの解釈可能性の向上に焦点をあてる。 GECシステムの4つの基本次元を記述可能な基準ベース評価戦略であるCLEME2.0を提案する。
論文参考訳（メタデータ） (2024-07-01T03:35:58Z)
Large Language Models Are State-of-the-Art Evaluator for Grammatical Error Correction [14.822205658480813]
大規模言語モデル(LLM)は、いくつかのタスクにおいて既存の自動評価指標より優れていることが報告されている。本研究では, 文法的誤り訂正(GEC)評価におけるLLMの性能について, 従来の研究から着想を得たプロンプトを用いて検討した。
論文参考訳（メタデータ） (2024-03-26T09:43:15Z)
Revisiting Meta-evaluation for Grammatical Error Correction [14.822205658480813]
SEEDAはGECメタ評価のための新しいデータセットである。人間の評価を2つの異なる粒度で補正する。その結果,既存の研究では編集基準が過小評価されていた可能性が示唆された。
論文参考訳（メタデータ） (2024-03-05T05:53:09Z)
Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文参考訳（メタデータ） (2024-01-29T17:17:42Z)
Calibrating LLM-Based Evaluator [92.17397504834825]
マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
論文参考訳（メタデータ） (2023-09-23T08:46:11Z)
MISMATCH: Fine-grained Evaluation of Machine-generated Text with Mismatch Error Types [68.76742370525234]
テキスト間のきめ細かいミスマッチに基づいて、7つのNLPタスクにおける人間の判断をモデル化する新しい評価手法を提案する。細粒度評価のためのNLPタスクの最近の取り組みに触発されて,13種類のミスマッチエラータイプを紹介した。 7つのNLPタスクから得られた有意なデータセットの文対間のミスマッチ誤差は,人間の評価とよく一致している。
論文参考訳（メタデータ） (2023-06-18T01:38:53Z)
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文参考訳（メタデータ） (2022-12-15T17:26:05Z)
A New Evaluation Method: Evaluation Data and Metrics for Chinese Grammar Error Correction [4.60495447017298]
同じ誤り訂正モデルの評価値は、異なる単語分割システムや異なる言語モデルの下で大きく変化する可能性がある。本稿では,CGECの基準ベースと基準レスの2次元における3つの新しい評価指標を提案する。
論文参考訳（メタデータ） (2022-04-30T09:40:04Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)
Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics [64.88815792555451]
評価法は, 評価に用いる翻訳に非常に敏感であることを示す。本研究では,人的判断に対する自動評価基準の下で,性能改善をしきい値にする方法を開発した。
論文参考訳（メタデータ） (2020-06-11T09:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。