論文の概要: Alirector: Alignment-Enhanced Chinese Grammatical Error Corrector
- arxiv url: http://arxiv.org/abs/2402.04601v1
- Date: Wed, 7 Feb 2024 05:56:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 16:41:57.049973
- Title: Alirector: Alignment-Enhanced Chinese Grammatical Error Corrector
- Title(参考訳): Alirector: アライメント強化中国の文法エラーコレクタ
- Authors: Haihui Yang and Xiaojun Quan
- Abstract要約: 中国の文法的誤り訂正(CGEC)は、自己回帰生成モデルを採用する際に深刻な過度な過度な問題に直面している。
過補正問題に対するアライメント強化補正器を提案する。
3つのCGECデータセットの実験結果から,本手法の有効性が示された。
- 参考スコア(独自算出の注目度): 30.06647324563967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chinese grammatical error correction (CGEC) faces serious overcorrection
challenges when employing autoregressive generative models such as
sequence-to-sequence (Seq2Seq) models and decoder-only large language models
(LLMs). While previous methods aim to address overcorrection in Seq2Seq models,
they are difficult to adapt to decoder-only LLMs. In this paper, we propose an
alignment-enhanced corrector for the overcorrection problem that applies to
both Seq2Seq models and decoder-only LLMs. Our method first trains a correction
model to generate an initial correction of the source sentence. Then, we
combine the source sentence with the initial correction and feed it through an
alignment model for another round of correction, aiming to enforce the
alignment model to focus on potential overcorrection. Moreover, to enhance the
model's ability to identify nuances, we further explore the reverse alignment
of the source sentence and the initial correction. Finally, we transfer the
alignment knowledge from two alignment models to the correction model,
instructing it on how to avoid overcorrection. Experimental results on three
CGEC datasets demonstrate the effectiveness of our approach in alleviating
overcorrection and improving overall performance.
- Abstract(参考訳): 中国の文法的誤り訂正(cgec)は、シーケンシャル・ツー・シークエンス(seq2seq)モデルやデコーダのみの大型言語モデル(llm)のような自己回帰生成モデルを採用する場合、深刻な過度な修正課題に直面している。
従来の手法はSeq2Seqモデルでは過補正に対処するが、デコーダのみのLLMに適応することは困難である。
本稿では,seq2seqモデルとデコーダのみのllmに適用可能な誤り訂正問題に対するアライメント強調補正器を提案する。
本手法はまず,原文の初期修正を生成するための補正モデルを訓練する。
そして、原文を初期修正と組み合わせ、アライメントモデルを介して別の修正ラウンドをフィードし、アライメントモデルを強制して潜在的な過補正に集中させる。
さらに、ニュアンスを識別するモデルの能力を高めるため、原文の逆アライメントと初期補正をさらに検討する。
最後に、アライメントの知識を2つのアライメントモデルから補正モデルに転送し、過補正を回避する方法を指示する。
3つのCGECデータセットによる実験結果から,オーバーコレクトを緩和し,全体的な性能を向上させるためのアプローチの有効性が示された。
関連論文リスト
- Learning to Check: Unleashing Potentials for Self-Correction in Large
Language Models [5.861315682930851]
大規模言語モデル(LLM)は推論能力において大きな進歩を遂げた。
近年の研究では、自己補正は限定的であるか、あるいは反生産的であることが示唆されている。
我々は,LLMの自己検査能力を向上させることを目的として,訓練データを慎重に設計する。
論文 参考訳(メタデータ) (2024-02-20T14:23:23Z) - Parameter-tuning-free data entry error unlearning with adaptive
selective synaptic dampening [51.34904967046097]
本稿では,パラメータチューニングの必要性を排除した選択的シナプス減衰アンラーニング法の拡張を提案する。
本稿では,ResNet18とVision Transformerの未学習タスクにおける適応選択的シナプス減衰(ASSD)の性能を示す。
このアプローチの適用は、サプライチェーン管理などの産業環境において特に魅力的である。
論文 参考訳(メタデータ) (2024-02-06T14:04:31Z) - Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。
現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。
本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
論文 参考訳(メタデータ) (2023-08-17T06:04:28Z) - An Error-Guided Correction Model for Chinese Spelling Error Correction [13.56600372085612]
中国語の綴り訂正を改善するための誤り誘導補正モデル(EGCM)を提案する。
我々のモデルは、最先端のアプローチに対する優れた性能を顕著なマージンで達成する。
論文 参考訳(メタデータ) (2023-01-16T09:27:45Z) - Sequence-to-Action: Grammatical Error Correction with Action Guided
Sequence Generation [21.886973310718457]
本稿では,文法的誤り訂正のための新しいSequence-to-Action(S2A)モジュールを提案する。
S2Aモジュールは、ソースとターゲット文を共同で入力とし、トークンレベルのアクションシーケンスを自動的に生成することができる。
我々のモデルはセq2seqベースラインを一貫して上回り、過補正問題を著しく軽減することができる。
論文 参考訳(メタデータ) (2022-05-22T17:47:06Z) - Type-Driven Multi-Turn Corrections for Grammatical Error Correction [46.34114495164071]
文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文法的誤りを自動的に検出し、訂正することを目的としている。
これまでの研究では、露出バイアスに対処するためのデータ拡張アプローチに主に焦点が当てられていた。
GECのためのタイプ駆動型マルチTurn Correctionsアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-17T07:30:05Z) - FastCorrect 2: Fast Error Correction on Multiple Candidates for
Automatic Speech Recognition [92.12910821300034]
本稿では,複数のASR候補を入力として取り込んだ誤り訂正モデルFastCorrect 2を提案する。
FastCorrect 2は、カスケードされた再描画と修正パイプラインよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2021-09-29T13:48:03Z) - Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese
Grammatical Error Correction [49.25830718574892]
本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。
ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。
標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
論文 参考訳(メタデータ) (2021-06-03T05:56:57Z) - Grammatical Error Correction as GAN-like Sequence Labeling [45.19453732703053]
本稿では,Gumbel-Softmaxサンプリングをジェネレータとする文法的誤り検出器と文法的誤り検出器とからなるGANライクなシーケンスラベリングモデルを提案する。
いくつかの評価ベンチマークの結果、提案手法は有効であり、従来の最先端のベースラインを改善することが示されている。
論文 参考訳(メタデータ) (2021-05-29T04:39:40Z) - FastCorrect: Fast Error Correction with Edit Alignment for Automatic
Speech Recognition [90.34177266618143]
編集アライメントに基づく新しいNAR誤り訂正モデルであるFastCorrectを提案する。
fastcorrectは推論を6-9倍高速化し、自己回帰補正モデルと比較して精度を8-14%向上させる。
ニューラルマシン翻訳で採用されている一般的なNARモデルの精度を、大きなマージンで上回っています。
論文 参考訳(メタデータ) (2021-05-09T05:35:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。