論文の概要: Progressive Multi-task Learning Framework for Chinese Text Error Correction

• arxiv url: http://arxiv.org/abs/2306.17447v1
• Date: Fri, 30 Jun 2023 07:44:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 13:25:13.402417
• Title: Progressive Multi-task Learning Framework for Chinese Text Error Correction
• Title（参考訳）: 中国語テキスト誤り訂正のためのプログレッシブマルチタスク学習フレームワーク
• Authors: Shirong Ma, Yinghui Li, Haojing Huang, Shulin Huang, Yangning Li, Hai-Tao Zheng, and Ying Shen
• Abstract要約: Chinese Text Error Correction (CTEC) は、入力テキスト中のエラーを検出し、修正することを目的としている。 従来のアプローチは、過度な補正と過度な補正の問題に悩まされていた。 本稿では,CTECのための新しいモデルに依存しないプログレッシブマルチタスク学習フレームワークProTECを提案する。
• 参考スコア（独自算出の注目度）: 23.7312706036521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chinese Text Error Correction (CTEC) aims to detect and correct errors in the input text, which benefits human's daily life and various downstream tasks. Recent approaches mainly employ Pre-trained Language Models (PLMs) to resolve CTEC task and achieve tremendous success. However, previous approaches suffer from issues of over-correction and under-correction, and the former is especially conspicuous in the precision-critical CTEC task. To mitigate the issue of overcorrection, we propose a novel model-agnostic progressive multitask learning framework for CTEC, named ProTEC, which guides a CTEC model to learn the task from easy to difficult. We divide CTEC task into three sub-tasks from easy to difficult: Error Detection, Error Type Identification, and Correction Result Generation. During the training process, ProTEC guides the model to learn text error correction progressively by incorporating these sub-tasks into a multi-task training objective. During the inference process, the model completes these sub-tasks in turn to generate the correction results. Extensive experiments and detailed analyses fully demonstrate the effectiveness and efficiency of our proposed framework.
• Abstract（参考訳）: 中国語テキスト誤り訂正(ctec)は、人間の日常生活や下流の様々なタスクに役立つ入力テキストの誤りを検出し、訂正することを目的としている。 近年,CTECの課題を解決し,大きな成功を収めるために,プレトレーニング言語モデル(PLM)を主に採用している。 しかし, 従来のアプローチでは過補正と過補正の問題があり, 前者は特に高精度CTECタスクにおいて顕著である。 オーバーコレクションの問題を緩和するために,CTECのモデルに依存しないプログレッシブマルチタスク学習フレームワークProTECを提案する。 我々はCTECタスクを,誤り検出,誤り型同定,補正結果生成という3つのサブタスクに分割する。 トレーニングプロセス中、ProTECは、これらのサブタスクをマルチタスクトレーニング目標に組み込むことで、テキストエラー訂正を段階的に学習するモデルをガイドする。 推論プロセスの間、モデルはこれらのサブタスクを完了し、修正結果を生成する。 大規模な実験と詳細な分析により,提案フレームワークの有効性と有効性を実証した。

関連論文リスト

• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
  予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-07T01:50:25Z)
• Standardizing Your Training Process for Human Activity Recognition Models: A Comprehensive Review in the Tunable Factors [4.199844472131922]
  ウェアラブルヒューマンアクティビティ認識(WHAR)分野における現代ディープラーニング研究の総括的レビューを行う。 この結果から,モデルトレーニングプロトコルが提供する詳細が欠如していることが示唆された。 分析から得られた知見をもとに,WHARモデルに適合した新たな統合トレーニング手順を定義する。
  論文  参考訳（メタデータ） (2024-01-10T17:45:28Z)
• The Right Prompts for the Job: Repair Code-Review Defects with Large Language Model [15.885824575879763]
  自動プログラム修復(APR)技術は、コードレビュー(CR)プロセス中にプログラム欠陥を発見して修復する手作業を減らす可能性がある。 しかし、既存のAPRアプローチにまつわる限られた精度とかなりの時間的コストは、産業的な実践において採用を妨げている。 近年のLLM(Large Language Models)の進歩により、自然言語やプログラミング言語を理解する能力が向上し、レビューコメントに基づいたパッチの生成が可能になった。
  論文  参考訳（メタデータ） (2023-12-29T06:12:15Z)
• Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
  大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。 本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-07-11T01:55:24Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• The Past Mistake is the Future Wisdom: Error-driven Contrastive Probability Optimization for Chinese Spell Checking [32.8563506271794]
  中国語のスペルチェック(CSC)は、中国語のスペルエラーを検出し修正することを目的としている。 プレトレーニング言語モデル(PLM)は、CSCタスクの進行を促進する。 本稿では,CSCタスクに対する誤り駆動型Contrastive Probability Optimizationフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-02T09:58:56Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Exploration and Exploitation: Two Ways to Improve Chinese Spelling Correction Models [51.744357472072416]
  本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。 実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:33Z)
• Chinese Grammatical Correction Using BERT-based Pre-trained Model [17.847005759631703]
  中国語の文法的誤り訂正タスクにおいて,BERTに基づく事前学習モデルをエンコーダ・デコーダモデルに組み込む2つの手法の有効性を検証する。 また、エラータイプを分析し、文レベルのエラーはまだ対処されていないと結論づける。
  論文  参考訳（メタデータ） (2020-11-04T01:23:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。