論文の概要: Learning from Mistakes: Self-correct Adversarial Training for Chinese Unnatural Text Correction

• arxiv url: http://arxiv.org/abs/2412.17279v1
• Date: Mon, 23 Dec 2024 04:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:59:42.712122
• Title: Learning from Mistakes: Self-correct Adversarial Training for Chinese Unnatural Text Correction
• Title（参考訳）: 誤りから学ぶ:中国の不自然なテキスト訂正のための自己修正逆行訓練
• Authors: Xuan Feng, Tianlong Gu, Xiaoli Liu, Liang Chang,
• Abstract要約: 不自然なテキスト補正は、文中のスペルエラーや逆転摂動エラーを自動的に検出し、修正することを目的としている。 既存の方法は、ミスを修正するための微調整や敵の訓練に頼っている。 我々はtextbfMIstextbfTakes から textbfLearntextbfIng の自己正逆学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.426690600216749
• License:
• Abstract: Unnatural text correction aims to automatically detect and correct spelling errors or adversarial perturbation errors in sentences. Existing methods typically rely on fine-tuning or adversarial training to correct errors, which have achieved significant success. However, these methods exhibit poor generalization performance due to the difference in data distribution between training data and real-world scenarios, known as the exposure bias problem. In this paper, we propose a self-correct adversarial training framework for \textbf{L}earn\textbf{I}ng from \textbf{MI}s\textbf{T}akes (\textbf{LIMIT}), which is a task- and model-independent framework to correct unnatural errors or mistakes. Specifically, we fully utilize errors generated by the model that are actively exposed during the inference phase, i.e., predictions that are inconsistent with the target. This training method not only simulates potential errors in real application scenarios, but also mitigates the exposure bias of the traditional training process. Meanwhile, we design a novel decoding intervention strategy to maintain semantic consistency. Extensive experimental results on Chinese unnatural text error correction datasets show that our proposed method can correct multiple forms of errors and outperforms the state-of-the-art text correction methods. In addition, extensive results on Chinese and English datasets validate that LIMIT can serve as a plug-and-play defense module and can extend to new models and datasets without further training.
• Abstract（参考訳）: 不自然なテキスト補正は、文中のスペルエラーや逆転摂動エラーを自動的に検出し、修正することを目的としている。 既存の手法は通常、ミスを修正するために微調整や敵の訓練に頼っているが、これは大きな成功を収めた。 しかし、これらの手法は、トレーニングデータと露光バイアス問題として知られる実世界のシナリオ間のデータ分布の違いにより、一般化性能が劣っている。 本稿では,不自然な誤りや誤りを訂正するためのタスクとモデルに依存しないフレームワークである,‘textbf{L}earn\textbf{I}ng from \textbf{MI}s\textbf{T}akes(\textbf{LIMIT})を提案する。 具体的には、推論フェーズ中に積極的に露出するモデルによって生成されたエラー、すなわちターゲットと矛盾しない予測をフル活用する。 このトレーニング方法は、実際のアプリケーションシナリオにおける潜在的なエラーをシミュレートするだけでなく、従来のトレーニングプロセスの露出バイアスを軽減する。 一方、セマンティック一貫性を維持するために、新しいデコード介入戦略を設計する。 中国における不自然なテキスト誤り訂正データセットの大規模な実験結果から,提案手法は複数種類の誤りを補正し,最先端のテキスト訂正法より優れることが示された。 さらに、中国語と英語のデータセットに関する広範な結果は、LIMITがプラグアンドプレイディフェンスモジュールとして機能し、さらなるトレーニングなしで新しいモデルやデータセットに拡張可能であることを検証している。

関連論文リスト

• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Physics of Language Models: Part 2.2, How to Learn From Mistakes on Grade-School Math Problems [47.753284211200665]
  我々は、事前訓練段階に直接「エラー訂正」データを組み込むことの有用性を理解することに注力する。 このデータは、即座に修正された誤った解ステップで構成されている。 このタイプの事前学習データにより、言語モデルの推論精度の向上が期待できる。
  論文  参考訳（メタデータ） (2024-08-29T06:49:20Z)
• Contextual Spelling Correction with Language Model for Low-resource Setting [0.0]
  文脈理解を伴うSCモデルを提供するために、小規模な単語ベースの変換器LMを訓練する。 コーパスからエラー発生確率(エラーモデル)を抽出する。 LMとエラーモデルを組み合わせることで、よく知られたノイズチャネルフレームワークを通じてSCモデルを開発することができる。
  論文  参考訳（メタデータ） (2024-04-28T05:29:35Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• uChecker: Masked Pretrained Language Models as Unsupervised Chinese Spelling Checkers [23.343006562849126]
  そこで我々はtextbfuChecker というフレームワークを提案し,教師なしのスペル検出と修正を行う。 BERTのようなマスキーク事前訓練言語モデルをバックボーンモデルとして導入する。 各種フレキシブルなMASKの操作に特化して,マスク付き言語モデルを微調整するためのコンフュージョンセット誘導マスキング戦略を提案する。
  論文  参考訳（メタデータ） (2022-09-15T05:57:12Z)
• Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
  既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。 中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
  論文  参考訳（メタデータ） (2022-04-15T13:55:32Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。