論文の概要: System Combination via Quality Estimation for Grammatical Error Correction

• arxiv url: http://arxiv.org/abs/2310.14947v1
• Date: Mon, 23 Oct 2023 13:46:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 19:46:36.167293
• Title: System Combination via Quality Estimation for Grammatical Error Correction
• Title（参考訳）: 文法的誤り訂正のための品質推定によるシステム組み合わせ
• Authors: Muhammad Reza Qorib and Hwee Tou Ng
• Abstract要約: 本稿では,修正文の品質をよりよく推定する,最新の品質評価モデルであるGRECOを提案する。 また,GECの品質推定モデルを用いて,システムの組み合わせを多種多様な一般性で評価する手法を提案する。
• 参考スコア（独自算出の注目度）: 29.91720235173108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quality estimation models have been developed to assess the corrections made by grammatical error correction (GEC) models when the reference or gold-standard corrections are not available. An ideal quality estimator can be utilized to combine the outputs of multiple GEC systems by choosing the best subset of edits from the union of all edits proposed by the GEC base systems. However, we found that existing GEC quality estimation models are not good enough in differentiating good corrections from bad ones, resulting in a low F0.5 score when used for system combination. In this paper, we propose GRECO, a new state-of-the-art quality estimation model that gives a better estimate of the quality of a corrected sentence, as indicated by having a higher correlation to the F0.5 score of a corrected sentence. It results in a combined GEC system with a higher F0.5 score. We also propose three methods for utilizing GEC quality estimation models for system combination with varying generality: model-agnostic, model-agnostic with voting bias, and model-dependent method. The combined GEC system outperforms the state of the art on the CoNLL-2014 test set and the BEA-2019 test set, achieving the highest F0.5 scores published to date.
• Abstract（参考訳）: 基準または金標準補正が利用できない場合の文法的誤り訂正(gec)モデルによる補正を評価するために品質推定モデルが開発されている。 理想的な品質推定器は、複数のGECシステムの出力を組み合わせて、GECベースシステムによって提案される全ての編集の結合から、編集の最良のサブセットを選択することができる。 しかし,既存のGEC品質評価モデルでは,良い補正と悪い補正を区別するには不十分であり,システムの組み合わせではF0.5スコアが低いことがわかった。 本稿では,修正文のF0.5スコアと高い相関関係を持つことで示されるように,訂正文の品質をよりよく推定する,新しい最先端品質推定モデルであるGRECOを提案する。 その結果、より高いF0.5スコアのGECシステムが得られる。 また,汎用性に富むシステムの組み合わせに対して,gec品質推定モデルを活用するための3つの手法を提案する。 GECシステムの組み合わせは、CoNLL-2014テストセットとBEA-2019テストセットで、最先端のF0.5スコアを達成している。

関連論文リスト

• Classifier Ensemble for Efficient Uncertainty Calibration of Deep Neural Networks for Image Classification [1.0649605625763086]
  我々は、期待誤差(ECE)と最大誤差(MCE)に着目し、精度と校正基準の両方を評価する。 我々の研究は、多数決投票やメタモデルに基づくアプローチを含む、単純で効率的な分類器アンサンブルを構築するための様々な方法を比較している。
  論文  参考訳（メタデータ） (2025-01-17T10:16:18Z)
• DSGram: Dynamic Weighting Sub-Metrics for Grammatical Error Correction in the Era of Large Language Models [39.493913608472404]
  大規模言語モデル(LLM)に基づく文法的誤り訂正(GEC)モデルは、提供された金の参照から分岐する修正を生成することが多い。 この不一致は、従来の基準ベースの評価指標の信頼性を損なう。 本稿では,GECモデル,DSGram,Semantic Coherence,Edit Level,Fluencyを統合し,動的重み付け機構を活用する新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-17T11:54:16Z)
• Efficient and Interpretable Grammatical Error Correction with Mixture of Experts [33.748193858033346]
  文法的誤り訂正のための混合専門家モデルMoECEを提案する。 本モデルでは,有効パラメータの3倍少ないT5-XLの性能を実現する。
  論文  参考訳（メタデータ） (2024-10-30T23:27:54Z)
• LM-Combiner: A Contextual Rewriting Model for Chinese Grammatical Error Correction [49.0746090186582]
  過剰補正は中国の文法的誤り訂正(CGEC)タスクにおいて重要な問題である。 モデルアンサンブル法による最近の研究は、過剰補正を効果的に軽減し、ECCシステムの精度を向上させることができる。 本稿では,GECシステム出力の過度補正をモデルアンサンブルなしで直接修正できる書き換えモデルLM-Combinerを提案する。
  論文  参考訳（メタデータ） (2024-03-26T06:12:21Z)
• RobustGEC: Robust Grammatical Error Correction Against Subtle Context Perturbation [64.2568239429946]
  本稿では,GECシステムのコンテキストロバスト性を評価するためのベンチマークであるRobustGECを紹介する。 現状のGECシステムには, 文脈摂動に対する十分な堅牢性がないことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-11T08:33:23Z)
• Quality-Based Conditional Processing in Multi-Biometrics: Application to Sensor Interoperability [63.05238390013457]
  2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。 我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。 その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T12:11:22Z)
• Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems [66.61691401921296]
  本稿では, ディープスピーカ埋込抽出器のスコアキャリブレーション法について検討する。 この研究のさらなる焦点は、スコア正規化がシステムの校正性能に与える影響を推定することである。
  論文  参考訳（メタデータ） (2022-03-28T21:22:22Z)
• Neural Quality Estimation with Multiple Hypotheses for Grammatical Error Correction [98.31440090585376]
  文法的誤り訂正(GEC)は、誤りの訂正と言語学習者の書き方の改善を支援することを目的としている。 既存のGECモデルは、激しい修正や多くのエラーの検出に失敗する傾向があります。 本稿では,複数の仮説を用いたGEC品質評価のためのニューラル検証ネットワーク(VERNet)を提案する。
  論文  参考訳（メタデータ） (2021-05-10T15:04:25Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。