論文の概要: Pre-training with Meta Learning for Chinese Word Segmentation

• arxiv url: http://arxiv.org/abs/2010.12272v2
• Date: Mon, 15 Mar 2021 07:15:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 22:35:12.367535
• Title: Pre-training with Meta Learning for Chinese Word Segmentation
• Title（参考訳）: 中国語単語セグメンテーションのためのメタ学習による事前学習
• Authors: Zhen Ke, Liang Shi, Songtao Sun, Erli Meng, Bin Wang, Xipeng Qiu
• Abstract要約: 本稿では,CWS固有の事前学習モデルMETASEGを提案する。 METASEGは、広く使用されている12のCWSデータセット上で、最先端の新たなパフォーマンスを実現することができる。
• 参考スコア（独自算出の注目度）: 44.872788258481755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent researches show that pre-trained models (PTMs) are beneficial to Chinese Word Segmentation (CWS). However, PTMs used in previous works usually adopt language modeling as pre-training tasks, lacking task-specific prior segmentation knowledge and ignoring the discrepancy between pre-training tasks and downstream CWS tasks. In this paper, we propose a CWS-specific pre-trained model METASEG, which employs a unified architecture and incorporates meta learning algorithm into a multi-criteria pre-training task. Empirical results show that METASEG could utilize common prior segmentation knowledge from different existing criteria and alleviate the discrepancy between pre-trained models and downstream CWS tasks. Besides, METASEG can achieve new state-of-the-art performance on twelve widely-used CWS datasets and significantly improve model performance in low-resource settings.
• Abstract（参考訳）: 近年の研究では、事前学習モデル(PTM)が中国語の単語セグメンテーション(CWS)に有用であることが示されている。 しかしながら、以前の研究で使用されるPTMは、通常、言語モデリングを事前訓練タスクとして採用し、タスク固有の事前セグメンテーション知識を欠き、事前訓練タスクと下流CWSタスクの相違を無視している。 本稿では,CWS固有の事前学習モデルMETASEGを提案する。 実験の結果, メタセグメンテーションは, 既存の異なる基準からの共通事前セグメンテーション知識を活用でき, 学習済みモデルと下流cwsタスクとの差異を緩和できることがわかった。 さらに、metasegは12の広く使用されているcwsデータセットで新たな最先端のパフォーマンスを実現し、低リソース設定でのモデルパフォーマンスを大幅に向上することができる。

関連論文リスト

• Task-Oriented Pre-Training for Drivable Area Detection [5.57325257338134]
  本稿では,冗長なセグメンテーションの提案から始まるタスク指向の事前学習手法を提案する。 次に、コントラスト言語画像事前学習(CLIP)モデルを微調整するための特定カテゴリー強化微調整(SCEF)戦略を導入する。 このアプローチは、手動のアノテートデータを使用してさらに微調整された事前学習モデルの粗いトレーニングデータを生成することができる。
  論文  参考訳（メタデータ） (2024-09-30T10:25:47Z)
• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• CLIN-X: pre-trained language models and a study on cross-task transfer for concept extraction in the clinical domain [22.846469609263416]
  事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。 本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。 本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
  論文  参考訳（メタデータ） (2021-12-16T10:07:39Z)
• RethinkCWS: Is Chinese Word Segmentation a Solved Task? [81.11161697133095]
  中国語の単語(CWS)システムの性能は、ディープニューラルネットワークの急速な発展とともに、徐々に高水準に達している。 本稿では、私たちが達成した事柄の株式を取得し、CWSタスクに残されている事柄を再考する。
  論文  参考訳（メタデータ） (2020-11-13T11:07:08Z)
• To Pretrain or Not to Pretrain: Examining the Benefits of Pretraining on Resource Rich Tasks [25.05882459314221]
  トレーニングサンプルの数が数百万に増加するにつれ,細粒化BERTモデルと訓練用バニラLSTMとの精度のギャップは,スクラッチ狭さから1%以内に拡大した。 その結果,教師付きデータのサイズが大幅に大きくなるにつれて,事前学習したモデルではリターンポイントが低下する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-15T18:18:59Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• CALM: Continuous Adaptive Learning for Language Modeling [18.72860206714457]
  自然言語処理コミュニティでは,大規模言語表現モデルのトレーニングが標準となっている。 これらの事前学習モデルが破滅的忘れという形で性能劣化を示すことを示す。 言語モデリングのための継続的適応学習CALM:複数のドメインにまたがる知識を保持するモデルをレンダリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-04-08T03:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。