論文の概要: GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding

• arxiv url: http://arxiv.org/abs/2311.08191v1
• Date: Tue, 14 Nov 2023 14:24:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 13:49:25.922628
• Title: GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding
• Title（参考訳）: GEC-DePenD:非自己回帰文法的誤り訂正法
• Authors: Konstantin Yakovlev, Alexander Podolskiy, Andrey Bout, Sergey Nikolenko, Irina Piontkovskaya
• Abstract要約: 文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。 本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
• 参考スコア（独自算出の注目度）: 52.14832976759585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grammatical error correction (GEC) is an important NLP task that is currently usually solved with autoregressive sequence-to-sequence models. However, approaches of this class are inherently slow due to one-by-one token generation, so non-autoregressive alternatives are needed. In this work, we propose a novel non-autoregressive approach to GEC that decouples the architecture into a permutation network that outputs a self-attention weight matrix that can be used in beam search to find the best permutation of input tokens (with auxiliary {ins} tokens) and a decoder network based on a step-unrolled denoising autoencoder that fills in specific tokens. This allows us to find the token permutation after only one forward pass of the permutation network, avoiding autoregressive constructions. We show that the resulting network improves over previously known non-autoregressive methods for GEC and reaches the level of autoregressive methods that do not use language-specific synthetic data generation methods. Our results are supported by a comprehensive experimental validation on the ConLL-2014 and Write&Improve+LOCNESS datasets and an extensive ablation study that supports our architectural and algorithmic choices.
• Abstract（参考訳）: 文法的誤り訂正(GEC)は、現在、自己回帰的なシーケンス・ツー・シーケンスモデルで解決されている重要なNLPタスクである。 しかしながら、このクラスのアプローチは1つずつのトークン生成のために本質的に遅いため、非自己回帰的な代替手段が必要である。 本稿では,GEC に対する非自己回帰的手法を提案する。この手法はアーキテクチャを,ビーム探索で使用可能な自己アテンション重み行列を出力し,入力トークンの最適な置換(補助的な {ins} トークン)と,特定のトークンを埋めるステップアンロールされた復号化オートエンコーダに基づくデコーダネットワークを提案する。 これにより、置換ネットワークの1つの前方通過後にトークン置換を見つけることができ、自動回帰構造を避けることができる。 GECの既知の非自己回帰手法よりもネットワークが向上し,言語固有の合成データ生成手法を使用しない自己回帰手法のレベルに達することを示す。 本研究は,ConLL-2014およびWrite&Improve+LOCNESSデータセットに関する総合的な実験的検証と,アーキテクチャおよびアルゴリズムの選択をサポートする広範囲なアブレーション研究によって支援された。

関連論文リスト

• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Permutation-Invariant Set Autoencoders with Fixed-Size Embeddings for Multi-Agent Learning [7.22614468437919]
  置換不変集合オートエンコーダ(PISA)を導入する。 PISAは、既存のベースラインよりも大幅に低い再構成誤差でエンコードを生成する。 マルチエージェントアプリケーションでその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-24T18:59:13Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Step-unrolled Denoising Autoencoders for Text Generation [17.015573262373742]
  本稿では,SUNDAE(Step-unrolled Denoising Autoencoder)というテキスト生成モデルを提案する。 SUNDAEはトークンの列に繰り返し適用され、ランダムな入力から始まり、収束するまで毎回改善される。 拡散法よりも少ないイテレーションで収束する単純な改良演算子を提案する。
  論文  参考訳（メタデータ） (2021-12-13T16:00:33Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Don't Take It Literally: An Edit-Invariant Sequence Loss for Text Generation [109.46348908829697]
  生成したn-gramのすべてのn-gramとの一致損失を計算した新しい編集不変シーケンス損失(EISL)を提案する。 ノイズの多いターゲットシーケンスを持つ機械翻訳,教師なしテキストスタイル転送,非自己回帰型機械翻訳の3つのタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-29T03:59:21Z)
• SparseGAN: Sparse Generative Adversarial Network for Text Generation [8.634962333084724]
  本稿では,識別器への入力として,意味解釈可能ながスパース文表現を生成するスパースGANを提案する。 このような意味豊かな表現により、効率の良い対人訓練のための不要なノイズを低減できるだけでなく、学習過程全体を完全に差別化できる。
  論文  参考訳（メタデータ） (2021-03-22T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。