論文の概要: Recent Trends in the Use of Deep Learning Models for Grammar Error
Handling
- arxiv url: http://arxiv.org/abs/2009.02358v1
- Date: Fri, 4 Sep 2020 18:50:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 01:42:18.898140
- Title: Recent Trends in the Use of Deep Learning Models for Grammar Error
Handling
- Title(参考訳): 文法エラー処理におけるディープラーニングモデルの利用動向
- Authors: Mina Naghshnejad, Tarun Joshi, and Vijayan N. Nair
- Abstract要約: 文法誤り処理(GEH)は自然言語処理(NLP)において重要なトピックである
近年の計算システムの発展により,GEHなどのNLP問題に対するディープラーニング(DL)モデルの利用が促進されている。
- 参考スコア(独自算出の注目度): 6.88204255655161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grammar error handling (GEH) is an important topic in natural language
processing (NLP). GEH includes both grammar error detection and grammar error
correction. Recent advances in computation systems have promoted the use of
deep learning (DL) models for NLP problems such as GEH. In this survey we focus
on two main DL approaches for GEH: neural machine translation models and editor
models. We describe the three main stages of the pipeline for these models:
data preparation, training, and inference. Additionally, we discuss different
techniques to improve the performance of these models at each stage of the
pipeline. We compare the performance of different models and conclude with
proposed future directions.
- Abstract(参考訳): 文法エラー処理(GEH)は自然言語処理(NLP)において重要なトピックである。
GEHは文法誤り検出と文法誤り訂正の両方を含んでいる。
近年の計算システムの発展により,GEHなどのNLP問題に対するディープラーニング(DL)モデルの利用が促進されている。
本調査では,ニューラルマシン翻訳モデルとエディタモデルという,GEHの2つの主要なDLアプローチに注目した。
データ準備、トレーニング、推論という、これらのモデルのパイプラインの3つの主要なステージについて説明する。
さらに、パイプラインの各ステージでこれらのモデルのパフォーマンスを改善するための様々な技術について論じる。
異なるモデルの性能を比較し,今後の方向性を考察する。
関連論文リスト
- Combining Denoising Autoencoders with Contrastive Learning to fine-tune Transformer Models [0.0]
本研究は,分類タスクのベースモデルを調整するための3段階手法を提案する。
我々は,DAE(Denoising Autoencoder)を用いたさらなるトレーニングを行うことで,モデルの信号をデータ配信に適用する。
さらに、教師付きコントラスト学習のための新しいデータ拡張手法を導入し、不均衡なデータセットを修正する。
論文 参考訳(メタデータ) (2024-05-23T11:08:35Z) - Does Correction Remain A Problem For Large Language Models? [63.24433996856764]
本稿では,2つの実験を行ない,大規模言語モデルの文脈における補正の役割について検討する。
最初の実験では、誤り訂正のためのGPTのようなモデルを用いた数発の学習技術を用いて、単独のタスクとしての修正に焦点を当てた。
第2の実験では、あるレベルのノイズや誤りを含むテキストに対して、大きな言語モデルが許容し、適切に実行可能であるかどうかを検証し、他のNLPタスクの予備タスクとしての補正の概念について検討した。
論文 参考訳(メタデータ) (2023-08-03T14:09:31Z) - Should We Attend More or Less? Modulating Attention for Fairness [11.249410336982258]
社会的バイアスの伝播において,現在最先端のNLPモデルにおいて広く用いられている手法である注意の役割について検討する。
トレーニング後のモデルフェアネスを改善するために,注目度を変調する新しい手法を提案する。
本結果から,テキスト分類や生成タスクにおいて,公平性の増加と性能損失の最小化が示唆された。
論文 参考訳(メタデータ) (2023-05-22T14:54:21Z) - An Exploration of Prompt Tuning on Generative Spoken Language Model for
Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。
実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2022-03-31T03:26:55Z) - Type-Driven Multi-Turn Corrections for Grammatical Error Correction [46.34114495164071]
文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文法的誤りを自動的に検出し、訂正することを目的としている。
これまでの研究では、露出バイアスに対処するためのデータ拡張アプローチに主に焦点が当てられていた。
GECのためのタイプ駆動型マルチTurn Correctionsアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-17T07:30:05Z) - Recent Advances in Natural Language Processing via Large Pre-Trained
Language Models: A Survey [67.82942975834924]
BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。
本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
論文 参考訳(メタデータ) (2021-11-01T20:08:05Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z) - Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。
事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
論文 参考訳(メタデータ) (2021-07-10T02:13:25Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳(メタデータ) (2020-04-29T04:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。