論文の概要: Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction

• arxiv url: http://arxiv.org/abs/2106.01609v1
• Date: Thu, 3 Jun 2021 05:56:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 12:23:27.539642
• Title: Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction
• Title（参考訳）: 中国語文法誤り訂正のためのTail-to-Tail非回帰シーケンス予測
• Authors: Piji Li and Shuming Shi
• Abstract要約: 本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
• 参考スコア（独自算出の注目度）: 49.25830718574892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the problem of Chinese Grammatical Error Correction (CGEC) and present a new framework named Tail-to-Tail (\textbf{TtT}) non-autoregressive sequence prediction to address the deep issues hidden in CGEC. Considering that most tokens are correct and can be conveyed directly from source to target, and the error positions can be estimated and corrected based on the bidirectional context information, thus we employ a BERT-initialized Transformer Encoder as the backbone model to conduct information modeling and conveying. Considering that only relying on the same position substitution cannot handle the variable-length correction cases, various operations such substitution, deletion, insertion, and local paraphrasing are required jointly. Therefore, a Conditional Random Fields (CRF) layer is stacked on the up tail to conduct non-autoregressive sequence prediction by modeling the token dependencies. Since most tokens are correct and easily to be predicted/conveyed to the target, then the models may suffer from a severe class imbalance issue. To alleviate this problem, focal loss penalty strategies are integrated into the loss functions. Moreover, besides the typical fix-length error correction datasets, we also construct a variable-length corpus to conduct experiments. Experimental results on standard datasets, especially on the variable-length datasets, demonstrate the effectiveness of TtT in terms of sentence-level Accuracy, Precision, Recall, and F1-Measure on tasks of error Detection and Correction.
• Abstract（参考訳）: 我々は,中国語文法誤り訂正(CGEC)の問題を調査し,CGECに隠された深い問題に対処するため,Tail-to-Tail (\textbf{TtT}) と呼ばれる新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットへ直接転送でき、双方向のコンテキスト情報に基づいてエラー位置を推定して補正できるので、バックボーンモデルとしてbert-initialized transformer encoderを用いて情報モデリングと伝達を行う。 同じ位置置換に頼るだけでは可変長の修正ケースを処理できないため、置換、削除、挿入、局所的な言い換えといった様々な操作が共同で必要となる。 したがって、条件付きランダムフィールド(CRF)層がアップテール上に積み重なり、トークン依存性をモデル化して非自己回帰シーケンス予測を行う。 ほとんどのトークンは正確で、予測や参照が容易であるため、モデルが深刻なクラス不均衡に陥る可能性がある。 この問題を軽減するために、焦点損失補償戦略を損失関数に統合する。 さらに,一般的な固定長誤差補正データセットに加えて,可変長コーパスを構築して実験を行う。 標準データセット、特に可変長データセットに関する実験結果は、誤り検出と訂正のタスクにおける文レベル精度、精度、リコール、F1-MeasureのTtTの有効性を示す。

関連論文リスト

• A Coin Has Two Sides: A Novel Detector-Corrector Framework for Chinese Spelling Correction [79.52464132360618]
  中国語のSpelling Correction(CSC)は、自然言語処理(NLP)の基本課題である。 本稿では,エラー検出・相関器の枠組みに基づく新しい手法を提案する。 我々の検出器は2つのエラー検出結果を得るように設計されており、それぞれ高精度とリコールが特徴である。
  論文  参考訳（メタデータ） (2024-09-06T09:26:45Z)
• LM-Combiner: A Contextual Rewriting Model for Chinese Grammatical Error Correction [49.0746090186582]
  過剰補正は中国の文法的誤り訂正(CGEC)タスクにおいて重要な問題である。 モデルアンサンブル法による最近の研究は、過剰補正を効果的に軽減し、ECCシステムの精度を向上させることができる。 本稿では,GECシステム出力の過度補正をモデルアンサンブルなしで直接修正できる書き換えモデルLM-Combinerを提案する。
  論文  参考訳（メタデータ） (2024-03-26T06:12:21Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• From Spelling to Grammar: A New Framework for Chinese Grammatical Error Correction [12.170714706174314]
  中国語の文法的誤り訂正(CGEC)は、誤ったシーケンスから正しい文を生成することを目的としている。 本稿では,CGECタスクをスペル誤り訂正と文法的誤り訂正という2つのステップに分割する。 本稿では,スペル誤り訂正のためのゼロショット手法を提案する。 文法的誤り訂正に対処するため、ニューラルネットワークモデルを強化するために、部分音声特徴と意味クラス特徴を設計する。
  論文  参考訳（メタデータ） (2022-11-03T07:30:09Z)
• Sequence-to-Action: Grammatical Error Correction with Action Guided Sequence Generation [21.886973310718457]
  本稿では,文法的誤り訂正のための新しいSequence-to-Action(S2A)モジュールを提案する。 S2Aモジュールは、ソースとターゲット文を共同で入力とし、トークンレベルのアクションシーケンスを自動的に生成することができる。 我々のモデルはセq2seqベースラインを一貫して上回り、過補正問題を著しく軽減することができる。
  論文  参考訳（メタデータ） (2022-05-22T17:47:06Z)
• Neural Machine Translation with Error Correction [40.61399972202611]
  我々は,NMTに誤り訂正機構を導入し,前回生成したトークンの誤り情報を補正し,次のトークンをより正確に予測する。 具体的には、XLNetからの2ストリームの自己アテンションをNMTデコーダに導入し、クエリストリームを使用して次のトークンを予測する。 トレーニング中の予測誤差をシミュレーションするために,スケジュールされたサンプリングを利用する。
  論文  参考訳（メタデータ） (2020-07-21T09:41:07Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Towards Minimal Supervision BERT-based Grammar Error Correction [81.90356787324481]
  我々は、事前訓練された言語モデルからコンテキスト情報を取り入れて、アノテーションを活用し、多言語シナリオの恩恵を得ようとしている。 その結果、文法的誤り訂正タスクにおいて、変換器(BERT)からの双方向表現の強い可能性を示す。
  論文  参考訳（メタデータ） (2020-01-10T15:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。