論文の概要: Beyond Hard Samples: Robust and Effective Grammatical Error Correction
with Cycle Self-Augmenting
- arxiv url: http://arxiv.org/abs/2310.13321v1
- Date: Fri, 20 Oct 2023 07:31:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 23:53:09.858621
- Title: Beyond Hard Samples: Robust and Effective Grammatical Error Correction
with Cycle Self-Augmenting
- Title（参考訳）: ハードサンプルを超えて: サイクル自己拡張によるロバストで効果的な文法的誤り訂正
- Authors: Zecheng Tang, Kaifeng Qi, Juntao Li, Min Zhang
- Abstract要約: 本稿では, 逆攻撃における文法的誤り訂正(GEC)モデルの堅牢性を高めるために, サイクル自己拡張(CSA)手法を提案する。
サイクルトレーニングのための正規化データを導入し, GECモデル自体の強化データを活用することにより, よく訓練された GEC モデルのモデルロバスト性を効果的に改善することができる。
4つのベンチマークデータセットと7つの強力なモデルを用いた実験により,提案手法は,目的的に構築された逆例を用いることなく,4種類の攻撃のロバスト性を大幅に向上させることができることが示された。
- 参考スコア（独自算出の注目度）: 28.84445227362245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies have revealed that grammatical error correction methods in the
sequence-to-sequence paradigm are vulnerable to adversarial attack, and simply
utilizing adversarial examples in the pre-training or post-training process can
significantly enhance the robustness of GEC models to certain types of attack
without suffering too much performance loss on clean data. In this paper, we
further conduct a thorough robustness evaluation of cutting-edge GEC methods
for four different types of adversarial attacks and propose a simple yet very
effective Cycle Self-Augmenting (CSA) method accordingly. By leveraging the
augmenting data from the GEC models themselves in the post-training process and
introducing regularization data for cycle training, our proposed method can
effectively improve the model robustness of well-trained GEC models with only a
few more training epochs as an extra cost. More concretely, further training on
the regularization data can prevent the GEC models from over-fitting on
easy-to-learn samples and thus can improve the generalization capability and
robustness towards unseen data (adversarial noise/samples). Meanwhile, the
self-augmented data can provide more high-quality pseudo pairs to improve model
performance on the original testing data. Experiments on four benchmark
datasets and seven strong models indicate that our proposed training method can
significantly enhance the robustness of four types of attacks without using
purposely built adversarial examples in training. Evaluation results on clean
data further confirm that our proposed CSA method significantly improves the
performance of four baselines and yields nearly comparable results with other
state-of-the-art models. Our code is available at
https://github.com/ZetangForward/CSA-GEC.
- Abstract（参考訳）: 近年,シーケンシャル・ツー・シーケンス・パラダイムにおける文法的誤り訂正手法は敵意攻撃に対して脆弱であり,事前訓練や後訓練過程における敵意の例を単純に利用すれば,クリーンなデータに対するパフォーマンス損失に苦しむことなく,gecモデルのロバスト性を大幅に向上させることができることが明らかになった。
本稿では,4種類の敵攻撃に対する最先端gec法の徹底的なロバスト性評価を行い,それに応じて単純かつ極めて効果的なサイクル・セルフ・エイジメント(csa)法を提案する。
本提案手法は,サイクルトレーニングのための正規化データを導入し,学習後過程におけるGECモデル自体の強化データを活用することにより,学習期間を短縮し,モデルロバスト性を向上する。
より具体的には、正規化データに関するさらなるトレーニングは、GECモデルが容易に学習できるサンプルに過度に適合することを防ぎ、不明瞭なデータ(逆ノイズ/サンプル)に対する一般化能力と堅牢性を向上させることができる。
一方、自己拡張データにより、より高品質な擬似ペアが提供され、元のテストデータのモデル性能が向上する。
4つのベンチマークデータセットと7つの強力なモデルを用いた実験から,提案手法は,意図的に構築した攻撃例を使わずに,4種類の攻撃のロバスト性を大幅に向上できることが示唆された。
クリーンデータによる評価結果は,提案手法が4つのベースラインの性能を著しく向上し,他の最先端モデルとほぼ同等な結果が得られることを示す。
私たちのコードはhttps://github.com/ZetangForward/CSA-GECで利用可能です。
関連論文リスト
- Systematic Evaluation of Synthetic Data Augmentation for Multi-class NetFlow Traffic [2.5182419298876857]
マルチクラス分類モデルは特定のタイプの攻撃を識別し、より標的的で効果的なインシデント応答を可能にする。
最近の進歩は、生成モデルがデータの増大を補助し、不均衡なデータセットに対して優れたソリューションを提供すると主張することを示唆している。
本実験は,トレーニングデータのバランスをとる再サンプリング手法が,分類性能を確実に向上させるものではないことを示唆している。
論文 参考訳（メタデータ） (2024-08-28T12:44:07Z) - Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。
データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文 参考訳（メタデータ） (2024-07-26T10:49:14Z) - PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。
近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。
我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
論文 参考訳（メタデータ） (2024-06-09T07:29:55Z) - Improving Data Augmentation for Robust Visual Question Answering with
Effective Curriculum Learning [12.647353699551081]
DAに基づくVQA手法を強化するための効果的なカリキュラム学習戦略ECLを設計する。
ECLはまず比較的簡単なサンプルでVQAモデルを訓練し、その後徐々に難しいサンプルに変化し、より価値の低いサンプルは動的に除去される。
拡張データセット全体のトレーニングと比較して、私たちのECL戦略は、より少ないトレーニングサンプルでVQAモデルのパフォーマンスをさらに向上させることができます。
論文 参考訳（メタデータ） (2024-01-28T12:48:16Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Boosting Model Inversion Attacks with Adversarial Examples [26.904051413441316]
ブラックボックス設定において、より高い攻撃精度を達成できる学習ベースモデル反転攻撃のための新しい訓練パラダイムを提案する。
まず,攻撃モデルの学習過程を,意味的損失関数を追加して規則化する。
第2に、学習データに逆例を注入し、クラス関連部の多様性を高める。
論文 参考訳（メタデータ） (2023-06-24T13:40:58Z) - Exploration and Exploitation: Two Ways to Improve Chinese Spelling
Correction Models [51.744357472072416]
本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。
実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
論文 参考訳（メタデータ） (2021-05-31T09:17:33Z) - A Self-Refinement Strategy for Noise Reduction in Grammatical Error
Correction [54.569707226277735]
既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。
誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。
本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
論文 参考訳（メタデータ） (2020-10-07T04:45:09Z) - Data Weighted Training Strategies for Grammatical Error Correction [8.370770440898454]
文法的誤り訂正(GEC)のトレーニングスケジュールにデルタ-log-perplexityを組み込む方法を示す。
得られたデータに基づいて訓練されたモデルは、一般的なGECテストセットで最先端の結果を得る。
論文 参考訳（メタデータ） (2020-08-07T03:30:14Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳（メタデータ） (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。