論文の概要: Progressive Multi-task Learning Framework for Chinese Text Error
Correction
- arxiv url: http://arxiv.org/abs/2306.17447v2
- Date: Mon, 3 Jul 2023 05:29:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 10:16:08.352538
- Title: Progressive Multi-task Learning Framework for Chinese Text Error
Correction
- Title(参考訳): 中国語テキスト誤り訂正のためのプログレッシブマルチタスク学習フレームワーク
- Authors: Shirong Ma, Yinghui Li, Haojing Huang, Shulin Huang, Yangning Li,
Hai-Tao Zheng, and Ying Shen
- Abstract要約: Chinese Text Error Correction (CTEC) は、入力テキスト中のエラーを検出し、修正することを目的としている。
従来のアプローチは、過度な補正と過度な補正の問題に悩まされていた。
本稿では,CTECのための新しいモデルに依存しないプログレッシブマルチタスク学習フレームワークProTECを提案する。
- 参考スコア(独自算出の注目度): 23.7312706036521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chinese Text Error Correction (CTEC) aims to detect and correct errors in the
input text, which benefits human's daily life and various downstream tasks.
Recent approaches mainly employ Pre-trained Language Models (PLMs) to resolve
CTEC task and achieve tremendous success. However, previous approaches suffer
from issues of over-correction and under-correction, and the former is
especially conspicuous in the precision-critical CTEC task. To mitigate the
issue of overcorrection, we propose a novel model-agnostic progressive
multitask learning framework for CTEC, named ProTEC, which guides a CTEC model
to learn the task from easy to difficult. We divide CTEC task into three
sub-tasks from easy to difficult: Error Detection, Error Type Identification,
and Correction Result Generation. During the training process, ProTEC guides
the model to learn text error correction progressively by incorporating these
sub-tasks into a multi-task training objective. During the inference process,
the model completes these sub-tasks in turn to generate the correction results.
Extensive experiments and detailed analyses fully demonstrate the effectiveness
and efficiency of our proposed framework.
- Abstract(参考訳): 中国語テキスト誤り訂正(ctec)は、人間の日常生活や下流の様々なタスクに役立つ入力テキストの誤りを検出し、訂正することを目的としている。
近年,CTECの課題を解決し,大きな成功を収めるために,プレトレーニング言語モデル(PLM)を主に採用している。
しかし, 従来のアプローチでは過補正と過補正の問題があり, 前者は特に高精度CTECタスクにおいて顕著である。
オーバーコレクションの問題を緩和するために,CTECのモデルに依存しないプログレッシブマルチタスク学習フレームワークProTECを提案する。
我々はCTECタスクを,誤り検出,誤り型同定,補正結果生成という3つのサブタスクに分割する。
トレーニングプロセス中、ProTECは、これらのサブタスクをマルチタスクトレーニング目標に組み込むことで、テキストエラー訂正を段階的に学習するモデルをガイドする。
推論プロセスの間、モデルはこれらのサブタスクを完了し、修正結果を生成する。
大規模な実験と詳細な分析により,提案フレームワークの有効性と有効性を実証した。
関連論文リスト
- Meta-Tasks: An alternative view on Meta-Learning Regularization [17.738450255829633]
本稿では,未ラベルのサンプルを生かしながら,トレーニングと新規タスクの両方に一般化できる新しいソリューションを提案する。
実験の結果,提案手法はプロトタイプネットワークを3.9%上回る性能を示した。
論文 参考訳(メタデータ) (2024-02-27T21:15:40Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳(メタデータ) (2024-01-07T18:12:20Z) - On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳(メタデータ) (2023-12-21T11:55:10Z) - Does Correction Remain A Problem For Large Language Models? [63.24433996856764]
本稿では,2つの実験を行ない,大規模言語モデルの文脈における補正の役割について検討する。
最初の実験では、誤り訂正のためのGPTのようなモデルを用いた数発の学習技術を用いて、単独のタスクとしての修正に焦点を当てた。
第2の実験では、あるレベルのノイズや誤りを含むテキストに対して、大きな言語モデルが許容し、適切に実行可能であるかどうかを検証し、他のNLPタスクの予備タスクとしての補正の概念について検討した。
論文 参考訳(メタデータ) (2023-08-03T14:09:31Z) - Grammatical Error Correction: A Survey of the State of the Art [15.174807142080187]
文法的誤り訂正(英: Grammatical Error Correction, GEC)は、テキスト中のエラーを自動的に検出し、修正するタスクである。
この分野は過去10年間で大きな進歩を遂げており、一部は5つの共有タスクによって動機付けられている。
論文 参考訳(メタデータ) (2022-11-09T19:34:38Z) - Balancing Average and Worst-case Accuracy in Multitask Learning [39.59582055620513]
本稿では、分散ロバスト最適化(DRO)の手法を用いて、マルチタスク学習における最悪の性能を改善する方法について述べる。
これらの問題を緩和する改良されたLookahead-DRO(L-DRO)を提案する。
実験の結果,L-DROは計算オーバーヘッドが少なく,平均値と最悪の値とのトレードオフが良好であることがわかった。
論文 参考訳(メタデータ) (2021-10-12T09:00:46Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z) - Exploration and Exploitation: Two Ways to Improve Chinese Spelling
Correction Models [51.744357472072416]
本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。
実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
論文 参考訳(メタデータ) (2021-05-31T09:17:33Z) - Weighted Training for Cross-Task Learning [71.94908559469475]
クロスタスク学習のための重み付きトレーニングアルゴリズムであるTarget-Aware Weighted Training (TAWT)を紹介する。
TAWTは実装が容易で、計算効率が高く、ハイパーパラメータチューニングがほとんど必要とせず、漸近的でない学習理論の保証を享受できることを示す。
副産物として、提案された表現に基づくタスク距離は、クロスタスク学習のいくつかの重要な側面について理論的に原則化された方法で推論することができる。
論文 参考訳(メタデータ) (2021-05-28T20:27:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。