論文の概要: Improving Seq2Seq Grammatical Error Correction via Decoding Interventions

• arxiv url: http://arxiv.org/abs/2310.14534v1
• Date: Mon, 23 Oct 2023 03:36:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 22:50:35.431536
• Title: Improving Seq2Seq Grammatical Error Correction via Decoding Interventions
• Title（参考訳）: デコードインターベンションによるSeq2Seq文法誤り訂正の改善
• Authors: Houquan Zhou, Yumeng Liu, Zhenghua Li, Min Zhang, Bo Zhang, Chen Li, Ji Zhang, Fei Huang
• Abstract要約: 本稿では,外部批判を駆使して生成するトークンの妥当性を段階的に評価する統合デコード介入フレームワークを提案する。 我々は、事前訓練された言語モデル評論家と、段階的なターゲット側の文法的誤り検出批評家の2つのタイプの批判を発見し、調査する。 我々のフレームワークは一貫して強いベースラインを上回り、最先端の手法と競合する結果を得る。
• 参考スコア（独自算出の注目度）: 40.52259641181596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The sequence-to-sequence (Seq2Seq) approach has recently been widely used in grammatical error correction (GEC) and shows promising performance. However, the Seq2Seq GEC approach still suffers from two issues. First, a Seq2Seq GEC model can only be trained on parallel data, which, in GEC task, is often noisy and limited in quantity. Second, the decoder of a Seq2Seq GEC model lacks an explicit awareness of the correctness of the token being generated. In this paper, we propose a unified decoding intervention framework that employs an external critic to assess the appropriateness of the token to be generated incrementally, and then dynamically influence the choice of the next token. We discover and investigate two types of critics: a pre-trained left-to-right language model critic and an incremental target-side grammatical error detector critic. Through extensive experiments on English and Chinese datasets, our framework consistently outperforms strong baselines and achieves results competitive with state-of-the-art methods.
• Abstract（参考訳）: シークエンス・ツー・シークエンス(Seq2Seq)アプローチは近年,文法的誤り訂正(GEC)に広く使われ,有望な性能を示している。 しかし、Seq2Seq GECアプローチには2つの問題がある。 第一に、seq2seq gecモデルは並列データでしか訓練できないため、gecタスクではノイズが多く、量も限られることが多い。 第2に、Seq2Seq GECモデルのデコーダは、生成されるトークンの正確性を明確に認識していない。 本稿では,外部の批評家を駆使して,インクリメンタルに生成すべきトークンの適切性を評価し,次に次のトークンの選択に動的に影響を及ぼす統一復号処理フレームワークを提案する。 予備訓練された左右言語モデル評論家と段階的目標側の文法的誤り検出評論家の2つのタイプの批評家を発見し,検討した。 英語と中国語のデータセットに関する広範な実験を通じて、我々のフレームワークは一貫して強いベースラインを上回り、最先端の手法と競合する結果を得る。

関連論文リスト

• GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding [52.14832976759585]
  文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。 本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
  論文  参考訳（メタデータ） (2023-11-14T14:24:36Z)
• CSynGEC: Incorporating Constituent-based Syntax for Grammatical Error Correction with a Tailored GEC-Oriented Parser [22.942594068051488]
  この研究は、他の主流構文形式、すなわち構成型構文を考慮に入れている。 まず,非文法文の誤りに対応するための拡張構成型構文スキームを提案する。 そして,非文法文の区切り木を自動的に取得し,GCC指向の区切り木を訓練する。
  論文  参考訳（メタデータ） (2022-11-15T14:11:39Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Sequence-to-Action: Grammatical Error Correction with Action Guided Sequence Generation [21.886973310718457]
  本稿では,文法的誤り訂正のための新しいSequence-to-Action(S2A)モジュールを提案する。 S2Aモジュールは、ソースとターゲット文を共同で入力とし、トークンレベルのアクションシーケンスを自動的に生成することができる。 我々のモデルはセq2seqベースラインを一貫して上回り、過補正問題を著しく軽減することができる。
  論文  参考訳（メタデータ） (2022-05-22T17:47:06Z)
• A Syntax-Guided Grammatical Error Correction Model with Dependency Tree Correction [83.14159143179269]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。 本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。 我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
  論文  参考訳（メタデータ） (2021-11-05T07:07:48Z)
• Grammatical Error Correction as GAN-like Sequence Labeling [45.19453732703053]
  本稿では,Gumbel-Softmaxサンプリングをジェネレータとする文法的誤り検出器と文法的誤り検出器とからなるGANライクなシーケンスラベリングモデルを提案する。 いくつかの評価ベンチマークの結果、提案手法は有効であり、従来の最先端のベースラインを改善することが示されている。
  論文  参考訳（メタデータ） (2021-05-29T04:39:40Z)
• Improving the Efficiency of Grammatical Error Correction with Erroneous Span Detection and Correction [106.63733511672721]
  ESD(Eroneous Span Detection)とESC(Eroneous Span Correction)の2つのサブタスクに分割することで、文法的誤り訂正(GEC)の効率を改善するための言語に依存しない新しいアプローチを提案する。 ESDは、効率的なシーケンスタグ付けモデルを用いて文法的に誤りテキストスパンを識別する。ESCは、Seq2seqモデルを利用して、注釈付き誤字スパンの文を入力として取り、これらのスパンの修正テキストのみを出力する。 実験の結果,提案手法は英語と中国語のGECベンチマークにおいて従来のセク2seq手法と同等に動作し,推論に要するコストは50%以下であった。
  論文  参考訳（メタデータ） (2020-10-07T08:29:11Z)
• Stronger Baselines for Grammatical Error Correction Using Pretrained Encoder-Decoder Model [24.51571980021599]
  文法誤り訂正のための汎用事前学習エンコーダ・デコーダモデルとしての双方向・自動回帰変換器(BART)の有用性について検討する。 単言語および多言語BARTモデルは、GECにおいて高い性能を達成し、その結果の1つは、現在の英語GECの強みに匹敵する結果である。
  論文  参考訳（メタデータ） (2020-05-24T22:13:24Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。