論文の概要: Improving Grammatical Error Correction via Contextual Data Augmentation

• arxiv url: http://arxiv.org/abs/2406.17456v1
• Date: Tue, 25 Jun 2024 10:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 14:42:03.055173
• Title: Improving Grammatical Error Correction via Contextual Data Augmentation
• Title（参考訳）: 文脈データ拡張による文法的誤り訂正の改善
• Authors: Yixuan Wang, Baoxin Wang, Yijun Liu, Qingfu Zhu, Dayong Wu, Wanxiang Che,
• Abstract要約: 本研究では,文脈拡張に基づく合成データ構築手法を提案する。 具体的には、ルールベースの置換とモデルベースの生成を組み合わせる。 また,合成データにおけるノイズラベルの効果を軽減するために,レザベリングに基づくデータクリーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 49.746484518527716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, data augmentation through synthetic data has been widely used in the field of Grammatical Error Correction (GEC) to alleviate the problem of data scarcity. However, these synthetic data are mainly used in the pre-training phase rather than the data-limited fine-tuning phase due to inconsistent error distribution and noisy labels. In this paper, we propose a synthetic data construction method based on contextual augmentation, which can ensure an efficient augmentation of the original data with a more consistent error distribution. Specifically, we combine rule-based substitution with model-based generation, using the generative model to generate a richer context for the extracted error patterns. Besides, we also propose a relabeling-based data cleaning method to mitigate the effects of noisy labels in synthetic data. Experiments on CoNLL14 and BEA19-Test show that our proposed augmentation method consistently and substantially outperforms strong baselines and achieves the state-of-the-art level with only a few synthetic data.
• Abstract（参考訳）: 近年, 文法的誤り訂正(GEC)の分野では, 合成データによるデータ増大が, データの不足を緩和するために広く利用されている。 しかし、これらの合成データは、不整合誤差分布やノイズラベルによるデータ制限微調整フェーズではなく、事前学習フェーズで主に使用される。 本稿では,文脈拡張に基づく合成データ構築手法を提案する。 具体的には、ルールベースの置換とモデルベースの生成を組み合わせ、生成モデルを用いて抽出されたエラーパターンのよりリッチなコンテキストを生成する。 また,合成データにおけるノイズラベルの効果を軽減するために,レザベリングに基づくデータクリーニング手法を提案する。 CoNLL14 と BEA19-Test の実験により,提案手法は強いベースラインを安定かつ実質的に上回り,数個の合成データのみを用いて最先端レベルを達成することを示した。

関連論文リスト

• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Boosting Data Analytics With Synthetic Volume Expansion [3.568650932986342]
  本稿では,合成データに対する統計的手法の有効性と,合成データのプライバシーリスクについて考察する。 この枠組みにおける重要な発見は、合成データに対する統計的手法の誤差率は、より多くの合成データを追加することで減少するが、最終的には上昇または安定化する可能性があることを明らかにする世代効果である。
  論文  参考訳（メタデータ） (2023-10-27T01:57:27Z)
• Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
  ※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。 本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。 提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-20T17:14:25Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• On-the-fly Denoising for Data Augmentation in Natural Language Understanding [101.46848743193358]
  よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。 本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2022-12-20T18:58:33Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• Advancing Semi-Supervised Learning for Automatic Post-Editing: Data-Synthesis by Mask-Infilling with Erroneous Terms [5.366354612549173]
  高品質な合成データを作成するためのデータ合成手法に着目する。 本稿では,結果の合成データが実際のデータにある翻訳誤りを模倣するデータ合成手法を提案する。 実験結果から, 提案手法により生成した合成データを用いることで, 既存の合成データよりもAPEの性能が有意に向上することがわかった。
  論文  参考訳（メタデータ） (2022-04-08T07:48:57Z)
• Synt++: Utilizing Imperfect Synthetic Data to Improve Speech Recognition [18.924716098922683]
  合成データによる機械学習は、合成データと実際のデータ分布のギャップのため、簡単ではない。 本稿では,分散ギャップに起因する問題を緩和するために,トレーニング中の2つの新しい手法を提案する。 これらの手法は,合成データを用いた音声認識モデルの訓練を著しく改善することを示す。
  論文  参考訳（メタデータ） (2021-10-21T21:11:42Z)
• Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models [15.481446439370343]
  ERRANTなどの自動アノテーションツールからのエラー型タグを使用して、合成データ生成をガイドする。 我々は、与えられた開発セットにマッチするエラータグ頻度分布を持つ、新しい大規模合成事前学習データセットを構築した。 本手法は,母国英語と非母国英語を混合したGECシステムをネイティブ英語テストセットに適用する上で,特に有効である。
  論文  参考訳（メタデータ） (2021-05-27T17:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。