論文の概要: An Empirical Investigation of Domain Adaptation Ability for Chinese Spelling Check Models

• arxiv url: http://arxiv.org/abs/2401.14630v1
• Date: Fri, 26 Jan 2024 03:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 16:03:05.878020
• Title: An Empirical Investigation of Domain Adaptation Ability for Chinese Spelling Check Models
• Title（参考訳）: 中国語スペルチェックモデルのドメイン適応能力に関する実証的研究
• Authors: Xi Wang, Ruoqing Zhao, Hongliang Dai, Piji Li
• Abstract要約: 中国語スペルチェック(CSC)は自然言語処理(NLP)分野において重要な課題である CSCモデルは、訓練済みの言語モデルに基づいており、一般的なコーパスに基づいて訓練されている。 金融、医療、法的ドメインから豊富なドメイン固有の用語を含む3つの新しいデータセットを構築します。
• 参考スコア（独自算出の注目度）: 33.34502967864915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chinese Spelling Check (CSC) is a meaningful task in the area of Natural Language Processing (NLP) which aims at detecting spelling errors in Chinese texts and then correcting these errors. However, CSC models are based on pretrained language models, which are trained on a general corpus. Consequently, their performance may drop when confronted with downstream tasks involving domain-specific terms. In this paper, we conduct a thorough evaluation about the domain adaption ability of various typical CSC models by building three new datasets encompassing rich domain-specific terms from the financial, medical, and legal domains. Then we conduct empirical investigations in the corresponding domain-specific test datasets to ascertain the cross-domain adaptation ability of several typical CSC models. We also test the performance of the popular large language model ChatGPT. As shown in our experiments, the performances of the CSC models drop significantly in the new domains.
• Abstract（参考訳）: Chinese Spelling Check (CSC)は、中国語のテキスト中のスペルエラーを検出し、これらのエラーを修正することを目的とした自然言語処理(NLP)分野において重要なタスクである。 しかし、CSCモデルは、一般的なコーパスに基づいて訓練された事前訓練された言語モデルに基づいている。 その結果、ドメイン固有の用語を含む下流タスクに直面するとパフォーマンスが低下する可能性がある。 本稿では,金融,医療,法的ドメインから豊富なドメイン特化語を含む3つの新しいデータセットを構築することで,各種CSCモデルのドメイン適応能力の徹底的な評価を行う。 次に,いくつかの典型的なCSCモデルのドメイン間適応性を確認するために,対応するドメイン固有のテストデータセットについて実験的検討を行った。 また、一般的な大規模言語モデルChatGPTの性能についても検証する。 実験で示したように, cscモデルの性能は新たな領域において著しく低下した。

関連論文リスト

• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding [16.220303664681172]
  我々は、翻訳された英語の医療データとドイツの臨床データの3Bトークンから2.4Bトークンを抽出し、いくつかのドイツの医療言語モデルを事前訓練した。 得られたモデルは、名前付きエンティティ認識(NER)、多ラベル分類、抽出質問応答など、様々なドイツの下流タスクで評価された。 本研究は, 臨床モデルとスクラッチからトレーニングした成績を一致させたり, 上回ったりする能力が, 連続事前訓練によって実証されていることを結論する。
  論文  参考訳（メタデータ） (2024-04-08T17:24:04Z)
• Neural Machine Translation Models Can Learn to be Few-shot Learners [2.2999148299770042]
  In-context Learning (ICL) を実行するために、はるかに小さなモデルを訓練できることが示される。 ICLのこの能力により、モデルは関連する少数ショットの例を利用して、その出力をドメインに適応させることができる。 提案手法により、ドメインの混合による効率的なバッチ推論が可能となり、翻訳品質と即時適応率の両方において最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-09-15T17:44:21Z)
• RSpell: Retrieval-augmented Framework for Domain Adaptive Chinese Spelling Check [8.639084426359569]
  中国語のスペルチェック(英語: Chinese Spelling Check, CSC)は、中国語のテキストにおけるスペルエラーの検出と修正を指す。 本稿では,対応するドメイン語を検索し,それをCSCモデルに組み込むRSpellという検索拡張スペルチェックフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-16T07:12:23Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)
• Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
  言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。 細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。 微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:19:12Z)
• CLIN-X: pre-trained language models and a study on cross-task transfer for concept extraction in the clinical domain [22.846469609263416]
  事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。 本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。 本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
  論文  参考訳（メタデータ） (2021-12-16T10:07:39Z)
• Exploration and Exploitation: Two Ways to Improve Chinese Spelling Correction Models [51.744357472072416]
  本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。 実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:33Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• CALM: Continuous Adaptive Learning for Language Modeling [18.72860206714457]
  自然言語処理コミュニティでは,大規模言語表現モデルのトレーニングが標準となっている。 これらの事前学習モデルが破滅的忘れという形で性能劣化を示すことを示す。 言語モデリングのための継続的適応学習CALM:複数のドメインにまたがる知識を保持するモデルをレンダリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-04-08T03:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。