論文の概要: Correct Like Humans: Progressive Learning Framework for Chinese Text Error Correction

• arxiv url: http://arxiv.org/abs/2306.17447v3
• Date: Wed, 20 Mar 2024 15:53:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 22:57:10.502019
• Title: Correct Like Humans: Progressive Learning Framework for Chinese Text Error Correction
• Title（参考訳）: 正しい人間:中国語テキスト誤り訂正のためのプログレッシブラーニングフレームワーク
• Authors: Yinghui Li, Shirong Ma, Shaoshen Chen, Haojing Huang, Shulin Huang, Yangning Li, Hai-Tao Zheng, Ying Shen,
• Abstract要約: Chinese Text Error Correction (CTEC) は、入力テキスト中のエラーを検出し、修正することを目的としている。 最近のアプローチではCTECの解決にPLM(Pre-trained Language Models)を主に採用している。 本稿では,PLMをベースとしたCTECモデルを誘導し,人間のように修正する,モデルに依存しない新しいプログレッシブラーニングフレームワークProTECを提案する。
• 参考スコア（独自算出の注目度）: 28.25789161365667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chinese Text Error Correction (CTEC) aims to detect and correct errors in the input text, which benefits human daily life and various downstream tasks. Recent approaches mainly employ Pre-trained Language Models (PLMs) to resolve CTEC. Although PLMs have achieved remarkable success in CTEC, we argue that previous studies still overlook the importance of human thinking patterns. To enhance the development of PLMs for CTEC, inspired by humans' daily error-correcting behavior, we propose a novel model-agnostic progressive learning framework, named ProTEC, which guides PLMs-based CTEC models to learn to correct like humans. During the training process, ProTEC guides the model to learn text error correction by incorporating these sub-tasks into a progressive paradigm. During the inference process, the model completes these sub-tasks in turn to generate the correction results. Extensive experiments and detailed analyses demonstrate the effectiveness and efficiency of our proposed model-agnostic ProTEC framework.
• Abstract（参考訳）: 中国語テキスト誤り訂正(CTEC)は,入力テキスト中の誤りを検出し,訂正することを目的としている。 最近のアプローチではCTECの解決にPLM(Pre-trained Language Models)を主に採用している。 PLMはCTECで顕著に成功したが、これまでの研究は人間の思考パターンの重要性を軽視していた。 人間の日常的誤り訂正行動にインスパイアされたCTEC用PLMの開発を促進するため,PLMをベースとしたCTECモデルを案内するProTECという,新しいモデルに依存しないプログレッシブラーニングフレームワークを提案する。 トレーニングプロセス中、ProTECは、これらのサブタスクをプログレッシブパラダイムに組み込むことで、テキストエラー訂正を学ぶためのモデルをガイドする。 推論プロセスの間、モデルはこれらのサブタスクを順番に完了し、修正結果を生成する。 提案したモデルに依存しないProTECフレームワークの有効性と有効性を示す実験と詳細な分析を行った。

関連論文リスト

• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
  予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-07T01:50:25Z)
• Standardizing Your Training Process for Human Activity Recognition Models: A Comprehensive Review in the Tunable Factors [4.199844472131922]
  ウェアラブルヒューマンアクティビティ認識(WHAR)分野における現代ディープラーニング研究の総括的レビューを行う。 この結果から,モデルトレーニングプロトコルが提供する詳細が欠如していることが示唆された。 分析から得られた知見をもとに,WHARモデルに適合した新たな統合トレーニング手順を定義する。
  論文  参考訳（メタデータ） (2024-01-10T17:45:28Z)
• The Right Prompts for the Job: Repair Code-Review Defects with Large Language Model [15.885824575879763]
  自動プログラム修復(APR)技術は、コードレビュー(CR)プロセス中にプログラム欠陥を発見して修復する手作業を減らす可能性がある。 しかし、既存のAPRアプローチにまつわる限られた精度とかなりの時間的コストは、産業的な実践において採用を妨げている。 近年のLLM(Large Language Models)の進歩により、自然言語やプログラミング言語を理解する能力が向上し、レビューコメントに基づいたパッチの生成が可能になった。
  論文  参考訳（メタデータ） (2023-12-29T06:12:15Z)
• Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
  大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。 本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-07-11T01:55:24Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• The Past Mistake is the Future Wisdom: Error-driven Contrastive Probability Optimization for Chinese Spell Checking [32.8563506271794]
  中国語のスペルチェック(CSC)は、中国語のスペルエラーを検出し修正することを目的としている。 プレトレーニング言語モデル(PLM)は、CSCタスクの進行を促進する。 本稿では,CSCタスクに対する誤り駆動型Contrastive Probability Optimizationフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-02T09:58:56Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Exploration and Exploitation: Two Ways to Improve Chinese Spelling Correction Models [51.744357472072416]
  本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。 実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:33Z)
• Chinese Grammatical Correction Using BERT-based Pre-trained Model [17.847005759631703]
  中国語の文法的誤り訂正タスクにおいて,BERTに基づく事前学習モデルをエンコーダ・デコーダモデルに組み込む2つの手法の有効性を検証する。 また、エラータイプを分析し、文レベルのエラーはまだ対処されていないと結論づける。
  論文  参考訳（メタデータ） (2020-11-04T01:23:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。