論文の概要: Alirector: Alignment-Enhanced Chinese Grammatical Error Corrector

• arxiv url: http://arxiv.org/abs/2402.04601v1
• Date: Wed, 7 Feb 2024 05:56:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 16:41:57.049973
• Title: Alirector: Alignment-Enhanced Chinese Grammatical Error Corrector
• Title（参考訳）: Alirector: アライメント強化中国の文法エラーコレクタ
• Authors: Haihui Yang and Xiaojun Quan
• Abstract要約: 中国の文法的誤り訂正(CGEC)は、自己回帰生成モデルを採用する際に深刻な過度な過度な問題に直面している。 過補正問題に対するアライメント強化補正器を提案する。 3つのCGECデータセットの実験結果から,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 30.06647324563967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chinese grammatical error correction (CGEC) faces serious overcorrection challenges when employing autoregressive generative models such as sequence-to-sequence (Seq2Seq) models and decoder-only large language models (LLMs). While previous methods aim to address overcorrection in Seq2Seq models, they are difficult to adapt to decoder-only LLMs. In this paper, we propose an alignment-enhanced corrector for the overcorrection problem that applies to both Seq2Seq models and decoder-only LLMs. Our method first trains a correction model to generate an initial correction of the source sentence. Then, we combine the source sentence with the initial correction and feed it through an alignment model for another round of correction, aiming to enforce the alignment model to focus on potential overcorrection. Moreover, to enhance the model's ability to identify nuances, we further explore the reverse alignment of the source sentence and the initial correction. Finally, we transfer the alignment knowledge from two alignment models to the correction model, instructing it on how to avoid overcorrection. Experimental results on three CGEC datasets demonstrate the effectiveness of our approach in alleviating overcorrection and improving overall performance.
• Abstract（参考訳）: 中国の文法的誤り訂正(cgec)は、シーケンシャル・ツー・シークエンス(seq2seq)モデルやデコーダのみの大型言語モデル(llm)のような自己回帰生成モデルを採用する場合、深刻な過度な修正課題に直面している。 従来の手法はSeq2Seqモデルでは過補正に対処するが、デコーダのみのLLMに適応することは困難である。 本稿では,seq2seqモデルとデコーダのみのllmに適用可能な誤り訂正問題に対するアライメント強調補正器を提案する。 本手法はまず,原文の初期修正を生成するための補正モデルを訓練する。 そして、原文を初期修正と組み合わせ、アライメントモデルを介して別の修正ラウンドをフィードし、アライメントモデルを強制して潜在的な過補正に集中させる。 さらに、ニュアンスを識別するモデルの能力を高めるため、原文の逆アライメントと初期補正をさらに検討する。 最後に、アライメントの知識を2つのアライメントモデルから補正モデルに転送し、過補正を回避する方法を指示する。 3つのCGECデータセットによる実験結果から,オーバーコレクトを緩和し,全体的な性能を向上させるためのアプローチの有効性が示された。

関連論文リスト

• Efficient and Interpretable Grammatical Error Correction with Mixture of Experts [33.748193858033346]
  文法的誤り訂正のための混合専門家モデルMoECEを提案する。 本モデルでは,有効パラメータの3倍少ないT5-XLの性能を実現する。
  論文  参考訳（メタデータ） (2024-10-30T23:27:54Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Tag and correct: high precision post-editing approach to correction of speech recognition errors [0.0]
  ASR(Automatic Speech Recognition)仮説の単語を単語単位で修正する方法を学ぶニューラルネットワークタグと、タグによって返される修正を適用する修正モジュールとから構成される。 提案手法はアーキテクチャによらず,任意のASRシステムに適用可能である。
  論文  参考訳（メタデータ） (2024-06-11T09:52:33Z)
• LM-Combiner: A Contextual Rewriting Model for Chinese Grammatical Error Correction [49.0746090186582]
  過剰補正は中国の文法的誤り訂正(CGEC)タスクにおいて重要な問題である。 モデルアンサンブル法による最近の研究は、過剰補正を効果的に軽減し、ECCシステムの精度を向上させることができる。 本稿では,GECシステム出力の過度補正をモデルアンサンブルなしで直接修正できる書き換えモデルLM-Combinerを提案する。
  論文  参考訳（メタデータ） (2024-03-26T06:12:21Z)
• Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
  文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。 現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。 本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:04:28Z)
• An Error-Guided Correction Model for Chinese Spelling Error Correction [13.56600372085612]
  中国語の綴り訂正を改善するための誤り誘導補正モデル(EGCM)を提案する。 我々のモデルは、最先端のアプローチに対する優れた性能を顕著なマージンで達成する。
  論文  参考訳（メタデータ） (2023-01-16T09:27:45Z)
• Type-Driven Multi-Turn Corrections for Grammatical Error Correction [46.34114495164071]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文法的誤りを自動的に検出し、訂正することを目的としている。 これまでの研究では、露出バイアスに対処するためのデータ拡張アプローチに主に焦点が当てられていた。 GECのためのタイプ駆動型マルチTurn Correctionsアプローチを提案する。
  論文  参考訳（メタデータ） (2022-03-17T07:30:05Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• FastCorrect: Fast Error Correction with Edit Alignment for Automatic Speech Recognition [90.34177266618143]
  編集アライメントに基づく新しいNAR誤り訂正モデルであるFastCorrectを提案する。 fastcorrectは推論を6-9倍高速化し、自己回帰補正モデルと比較して精度を8-14%向上させる。 ニューラルマシン翻訳で採用されている一般的なNARモデルの精度を、大きなマージンで上回っています。
  論文  参考訳（メタデータ） (2021-05-09T05:35:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。