論文の概要: Are Pre-trained Language Models Useful for Model Ensemble in Chinese Grammatical Error Correction?

• arxiv url: http://arxiv.org/abs/2305.15183v1
• Date: Wed, 24 May 2023 14:18:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-05-25 15:18:30.828806
• Title: Are Pre-trained Language Models Useful for Model Ensemble in Chinese Grammatical Error Correction?
• Title（参考訳）: 中国語文法誤り訂正における事前学習言語モデルはモデルアンサンブルに有用か?
• Authors: Chenming Tang, Xiuyu Wu and Yunfang Wu
• Abstract要約: 4つの洗練された単一モデルを持つ強力なPLMに基づくアンサンブル戦略を探索する。 性能は向上しないが、PLMベースのアンサンブル後にさらに悪化する。
• 参考スコア（独自算出の注目度）: 10.302225525539003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model ensemble has been in widespread use for Grammatical Error Correction (GEC), boosting model performance. We hypothesize that model ensemble based on the perplexity (PPL) computed by pre-trained language models (PLMs) should benefit the GEC system. To this end, we explore several ensemble strategies based on strong PLMs with four sophisticated single models. However, the performance does not improve but even gets worse after the PLM-based ensemble. This surprising result sets us doing a detailed analysis on the data and coming up with some insights on GEC. The human references of correct sentences is far from sufficient in the test data, and the gap between a correct sentence and an idiomatic one is worth our attention. Moreover, the PLM-based ensemble strategies provide an effective way to extend and improve GEC benchmark data. Our source code is available at https://github.com/JamyDon/PLM-based-CGEC-Model-Ensemble.
• Abstract（参考訳）: モデルアンサンブルは文法的誤り訂正(GEC)に広く使われており、モデル性能が向上している。 我々は、事前学習言語モデル(PLM)によって計算されるパープレキシティ(PPL)に基づくモデルアンサンブルが、ECシステムに利益をもたらすと仮定する。 この目的のために、4つの洗練された単一モデルを持つ強力なPLMに基づく複数のアンサンブル戦略を探索する。 しかし、PLMベースのアンサンブル後にパフォーマンスは向上しないが、さらに悪化する。 この驚くべき結果によって、データに関する詳細な分析と、gecに関する洞察が得られました。 正しい文の人間の参照は、テストデータでは十分ではなく、正しい文と慣用句とのギャップは我々の注意に値する。 さらに、PLMベースのアンサンブル戦略は、GCCベンチマークデータを拡張および改善する効果的な方法を提供する。 ソースコードはhttps://github.com/JamyDon/PLMベース-CGEC-Model-Ensembleで公開されています。

関連論文リスト

• DSGram: Dynamic Weighting Sub-Metrics for Grammatical Error Correction in the Era of Large Language Models [39.493913608472404]
  大規模言語モデル(LLM)に基づく文法的誤り訂正(GEC)モデルは、提供された金の参照から分岐する修正を生成することが多い。 この不一致は、従来の基準ベースの評価指標の信頼性を損なう。 本稿では,GECモデル,DSGram,Semantic Coherence,Edit Level,Fluencyを統合し,動的重み付け機構を活用する新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-17T11:54:16Z)
• LM-Combiner: A Contextual Rewriting Model for Chinese Grammatical Error Correction [49.0746090186582]
  過剰補正は中国の文法的誤り訂正(CGEC)タスクにおいて重要な問題である。 モデルアンサンブル法による最近の研究は、過剰補正を効果的に軽減し、ECCシステムの精度を向上させることができる。 本稿では,GECシステム出力の過度補正をモデルアンサンブルなしで直接修正できる書き換えモデルLM-Combinerを提案する。
  論文  参考訳（メタデータ） (2024-03-26T06:12:21Z)
• Prompting open-source and commercial language models for grammatical error correction of English learner text [19.192210777082053]
  大規模言語モデル(LLM)は、流動的で文法的なテキストを生成するよう促すことができる。 確立したベンチマークデータセット上で, 文法的誤り訂正(GEC)におけるLLMの性能評価を行った。 いくつかのオープンソースモデルは、最小限の編集ベンチマークで商用モデルよりも優れており、いくつかの設定ではゼロショットプロンプトは、少数ショットプロンプトと同じくらい競争力がある。
  論文  参考訳（メタデータ） (2024-01-15T14:19:47Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
  言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。 細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。 微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:19:12Z)
• Exploring Category Structure with Contextual Language Models and Lexical Semantic Networks [0.0]
  我々は、典型値の予測のために、CLMを探索するためのより広い範囲の手法を試験する。 BERTを用いた実験では,CLMプローブの適切な利用の重要性が示された。 その結果, この課題における多義性の重要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2023-02-14T09:57:23Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• A Unified Strategy for Multilingual Grammatical Error Correction with Pre-trained Cross-Lingual Language Model [100.67378875773495]
  本稿では,多言語文法的誤り訂正のための汎用的かつ言語に依存しない戦略を提案する。 我々の手法は言語固有の操作を使わずに多様な並列GECデータを生成する。 NLPCC 2018 Task 2のデータセット(中国語)で最先端の結果を達成し、Falko-Merlin(ドイツ語)とRULEC-GEC(ロシア語)の競合性能を得る。
  論文  参考訳（メタデータ） (2022-01-26T02:10:32Z)
• LM-Critic: Language Models for Unsupervised Grammatical Error Correction [128.9174409251852]
  文を文法的に判断する LM-Critic の定義において,事前訓練された言語モデル (LM) の活用法を示す。 このLM-Critic と BIFI と、ラベルなし文の集合を併用して、現実的な非文法的/文法的ペアをブートストラップし、修正子を訓練する。
  論文  参考訳（メタデータ） (2021-09-14T17:06:43Z)
• Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction [54.569707226277735]
  従来の方法はEncDecモデルに適用した場合に潜在的な欠点がある。 提案手法では, コーパスを微調整し, GECモデルに付加的な特徴として出力を微調整する。 BEA 2019とCoNLL-2014ベンチマークにおける最高のパフォーマンスモデルのパフォーマンス。
  論文  参考訳（メタデータ） (2020-05-03T04:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。