論文の概要: Grammatical Error Correction Evaluation by Optimally Transporting Edit Representation

• arxiv url: http://arxiv.org/abs/2602.05419v1
• Date: Thu, 05 Feb 2026 08:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.830698
• Title: Grammatical Error Correction Evaluation by Optimally Transporting Edit Representation
• Title（参考訳）: 最適移動編集表現による文法的誤り補正評価
• Authors: Takumi Goto, Yusuke Sakai, Taro Watanabe,
• Abstract要約: 本研究は,文法的誤り訂正(GEC)に特化して設計された編集に焦点をあてる。 本稿では,編集のための表現である編集ベクトルを提案し,これらの編集ベクトルを仮説から参照へ不均衡な最適輸送を用いて転送する新しい計量 UOT-ERRANT を提案する。 SEEDAメタ評価実験により、UOT-ERRANTは、特に+フルエンシ領域において、評価性能を向上させることが示された。
• 参考スコア（独自算出の注目度）: 34.071151696990384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic evaluation in grammatical error correction (GEC) is crucial for selecting the best-performing systems. Currently, reference-based metrics are a popular choice, which basically measure the similarity between hypothesis and reference sentences. However, similarity measures based on embeddings, such as BERTScore, are often ineffective, since many words in the source sentences remain unchanged in both the hypothesis and the reference. This study focuses on edits specifically designed for GEC, i.e., ERRANT, and computes similarity measured over the edits from the source sentence. To this end, we propose edit vector, a representation for an edit, and introduce a new metric, UOT-ERRANT, which transports these edit vectors from hypothesis to reference using unbalanced optimal transport. Experiments with SEEDA meta-evaluation show that UOT-ERRANT improves evaluation performance, particularly in the +Fluency domain where many edits occur. Moreover, our method is highly interpretable because the transport plan can be interpreted as a soft edit alignment, making UOT-ERRANT a useful metric for both system ranking and analyzing GEC systems. Our code is available from https://github.com/gotutiyan/uot-errant.
• Abstract（参考訳）: 文法的誤り訂正(GEC)の自動評価は,最高の性能のシステムを選択する上で重要である。 現在、参照ベースのメトリクスは一般的な選択肢であり、基本的に仮説と参照文の類似性を測定する。 しかし、BERTScoreのような埋め込みに基づく類似性尺度は、元文の多くの単語が仮説と参照の両方で変化しないため、しばしば効果がない。 本研究は、GECのために特別に設計された編集、すなわちERRANTに焦点をあて、原文からの編集で測定された類似度を計算する。 この目的のために、編集ベクトル、編集のための表現を提案し、不均衡な最適輸送を用いてこれらの編集ベクトルを仮説から参照へ輸送する新しい計量 UOT-ERRANT を導入する。 SEEDAメタ評価実験により、UOT-ERRANTは、特に多くの編集が行われる+フルエンシ領域において、評価性能を改善することが示された。 さらに,本手法は,トランスポートプランをソフトな編集アライメントとして解釈できるため,システムランキングと解析の両面でUOT-ERRANTが有用である。 私たちのコードはhttps://github.com/gotutiyan/uot-errant.comから入手可能です。

関連論文リスト

• Improving Explainability of Sentence-level Metrics via Edit-level Attribution for Grammatical Error Correction [11.512856112792093]
  本稿では,個々の編集に文レベルスコアを寄与させ,特定の修正が全体のパフォーマンスにどのように貢献するかを考察する。 既存の文レベルのメトリクスを用いた実験は、異なる編集粒度間で高い一貫性を示し、人間の評価と約70%の一致を示す。 さらに、帰属結果に基づいてメトリクスのバイアスを分析し、正書法編集を無視する傾向などの傾向を明らかにする。
  論文  参考訳（メタデータ） (2024-12-17T17:31:17Z)
• Revisiting Meta-evaluation for Grammatical Error Correction [14.822205658480813]
  SEEDAはGECメタ評価のための新しいデータセットである。 人間の評価を2つの異なる粒度で補正する。 その結果,既存の研究では編集基準が過小評価されていた可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-05T05:53:09Z)
• CLEME: Debiasing Multi-reference Evaluation for Grammatical Error Correction [32.44051877804761]
  チャンクレベル多重参照評価(CLEME)は,多参照評価設定において文法誤り訂正(GEC)システムを評価するように設計されている。 我々は、CoNLL-2014共有タスクに基づく6つの英語参照セットの実験を行う。
  論文  参考訳（メタデータ） (2023-05-18T08:57:17Z)
• End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
  HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。 標準メトリクスは、現れる可能性のある不整合を考慮していない。 本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
  論文  参考訳（メタデータ） (2023-01-14T15:43:07Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)
• A Syntax-Guided Grammatical Error Correction Model with Dependency Tree Correction [83.14159143179269]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。 本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。 我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
  論文  参考訳（メタデータ） (2021-11-05T07:07:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。