論文の概要: Exploration and Exploitation: Two Ways to Improve Chinese Spelling
Correction Models
- arxiv url: http://arxiv.org/abs/2105.14813v2
- Date: Tue, 1 Jun 2021 15:18:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 14:47:26.475891
- Title: Exploration and Exploitation: Two Ways to Improve Chinese Spelling
Correction Models
- Title(参考訳): 探索と爆発:中国のスペル補正モデルを改善する2つの方法
- Authors: Chong Li, Cenyuan Zhang, Xiaoqing Zheng, Xuanjing Huang
- Abstract要約: 本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。
実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
- 参考スコア(独自算出の注目度): 51.744357472072416
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A sequence-to-sequence learning with neural networks has empirically proven
to be an effective framework for Chinese Spelling Correction (CSC), which takes
a sentence with some spelling errors as input and outputs the corrected one.
However, CSC models may fail to correct spelling errors covered by the
confusion sets, and also will encounter unseen ones. We propose a method, which
continually identifies the weak spots of a model to generate more valuable
training instances, and apply a task-specific pre-training strategy to enhance
the model. The generated adversarial examples are gradually added to the
training set. Experimental results show that such an adversarial training
method combined with the pretraining strategy can improve both the
generalization and robustness of multiple CSC models across three different
datasets, achieving stateof-the-art performance for CSC task.
- Abstract(参考訳): ニューラルネットワークを用いたシーケンシャル・ツー・シーケンス学習は、いくつかの綴り誤りのある文を入力として出力する中国語綴り修正(csc)の有効な枠組みであることが実証的に証明されている。
しかし、CSCモデルは混乱セットによってカバーされるスペルエラーの修正に失敗し、また目に見えないエラーに遭遇する。
本稿では,モデルの弱点を継続的に識別し,より価値のあるトレーニングインスタンスを生成し,そのモデルを強化するためにタスク固有の事前学習戦略を適用する手法を提案する。
生成した敵の例をトレーニングセットに徐々に追加する。
実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの3つのデータセット間の一般化とロバスト性を改善し, CSCタスクの最先端性能を達成できることが示唆された。
関連論文リスト
- Adaptive Weighted Co-Learning for Cross-Domain Few-Shot Learning [23.615250207134004]
クロスドメイン少ショット学習(CDFSL)は、非常に困難な適応問題を引き起こす。
適応重み付き共学習法(AWCoL)を提案し,CDFSL問題に対処する。
複数のベンチマークデータセットに対して総合的な実験を行い,提案手法が最先端のCDFSL性能を実現することを示す実証実験を行った。
論文 参考訳(メタデータ) (2023-12-06T22:09:52Z) - Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。
現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。
本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
論文 参考訳(メタデータ) (2023-08-17T06:04:28Z) - SCAT: Robust Self-supervised Contrastive Learning via Adversarial
Training for Text Classification [15.932462099791307]
SCAT (Self-supervised Contrastive Learning via Adversarial Training) と呼ばれる新しい学習フレームワークを提案する。
SCATは、データのランダムな拡張をラベルのない方法で修正し、敵の例を生成する。
以上の結果から,SCATはスクラッチから頑健な言語モデルを訓練できるだけでなく,既存の事前学習言語モデルの堅牢性を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-07-04T05:41:31Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Type-Driven Multi-Turn Corrections for Grammatical Error Correction [46.34114495164071]
文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文法的誤りを自動的に検出し、訂正することを目的としている。
これまでの研究では、露出バイアスに対処するためのデータ拡張アプローチに主に焦点が当てられていた。
GECのためのタイプ駆動型マルチTurn Correctionsアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-17T07:30:05Z) - The Past Mistake is the Future Wisdom: Error-driven Contrastive
Probability Optimization for Chinese Spell Checking [32.8563506271794]
中国語のスペルチェック(CSC)は、中国語のスペルエラーを検出し修正することを目的としている。
プレトレーニング言語モデル(PLM)は、CSCタスクの進行を促進する。
本稿では,CSCタスクに対する誤り駆動型Contrastive Probability Optimizationフレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-02T09:58:56Z) - Unsupervised Class-Incremental Learning Through Confusion [0.4604003661048266]
入ってくるデータを新しいクラスとして訓練することによるネットワークの混乱を生かした新規性検出手法を提案する。
この検出方法中にクラスアンバランスを組み込むことで、パフォーマンスが大幅に向上することがわかった。
論文 参考訳(メタデータ) (2021-04-09T15:58:43Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳(メタデータ) (2021-01-20T11:48:12Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳(メタデータ) (2020-10-26T04:44:43Z) - A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack
and Learning [122.49765136434353]
本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。
また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。
いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
論文 参考訳(メタデータ) (2020-10-15T16:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。