論文の概要: An Effective Incorporating Heterogeneous Knowledge Curriculum Learning
for Sequence Labeling
- arxiv url: http://arxiv.org/abs/2402.13534v1
- Date: Wed, 21 Feb 2024 05:04:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 16:57:10.592875
- Title: An Effective Incorporating Heterogeneous Knowledge Curriculum Learning
for Sequence Labeling
- Title(参考訳): シークエンスラベリングのための効果的な不均一知識カリキュラム学習
- Authors: Xuemei Tang and Qi Su
- Abstract要約: シーケンスラベリングタスクに特化して設計された2段階のカリキュラム学習(TCL)フレームワークを提案する。
このフレームワークは、データインスタンスを容易から困難に徐々に導入し、パフォーマンスとトレーニング速度の両方を改善することで、トレーニングを強化する。
- 参考スコア(独自算出の注目度): 9.237399190335598
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sequence labeling models often benefit from incorporating external knowledge.
However, this practice introduces data heterogeneity and complicates the model
with additional modules, leading to increased expenses for training a
high-performing model. To address this challenge, we propose a two-stage
curriculum learning (TCL) framework specifically designed for sequence labeling
tasks. The TCL framework enhances training by gradually introducing data
instances from easy to hard, aiming to improve both performance and training
speed. Furthermore, we explore different metrics for assessing the difficulty
levels of sequence labeling tasks. Through extensive experimentation on six
Chinese word segmentation (CWS) and Part-of-speech tagging (POS) datasets, we
demonstrate the effectiveness of our model in enhancing the performance of
sequence labeling models. Additionally, our analysis indicates that TCL
accelerates training and alleviates the slow training problem associated with
complex models.
- Abstract(参考訳): シーケンスラベリングモデルは、しばしば外部知識を取り入れることの恩恵を受ける。
しかし、このプラクティスはデータの不均一性を導入し、モデルを追加モジュールで複雑化し、ハイパフォーマンスなモデルをトレーニングするためのコストが増大する。
この課題に対処するために、シーケンスラベリングタスクに特化した2段階のカリキュラム学習(TCL)フレームワークを提案する。
tclフレームワークは、データインスタンスを容易から困難へと徐々に導入し、パフォーマンスとトレーニング速度の両方を改善することで、トレーニングを強化している。
さらに,シーケンスラベリングタスクの難易度を評価するためのさまざまな指標について検討する。
6つの中国語単語セグメンテーション(CWS)とPOS(Part-of-speech tagging)データセットの広範な実験を通じて、シーケンスラベリングモデルの性能向上におけるモデルの有効性を実証した。
さらに,tclがトレーニングを加速し,複雑なモデルに関連する遅いトレーニング問題を緩和することを示す。
関連論文リスト
- Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:40:12Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - Reinforcement Learning for Topic Models [3.42658286826597]
本稿では,ProdLDAにおける変分オートエンコーダを連続行動空間強化学習ポリシーに置き換えることにより,トピックモデリングに強化学習手法を適用した。
ニューラルネットワークアーキテクチャの近代化、ELBO損失の重み付け、コンテキスト埋め込みの使用、トピックの多様性と一貫性の計算による学習プロセスの監視など、いくつかの変更を導入している。
論文 参考訳(メタデータ) (2023-05-08T16:41:08Z) - Training Dynamics for Curriculum Learning: A Study on Monolingual and
Cross-lingual NLU [19.42920238320109]
カリキュラム学習(Curriculum Learning, CL)は、典型的に増加する困難傾向の中で、ランキングの例を通してモデルを訓練する技法である。
本研究では,学習力学を難易度指標として活用することにより,自然言語理解(NLU)タスクにCLを用いる。
実験によると、トレーニングのダイナミクスは、他の難しいメトリクスと比較して、スムーズなトレーニングでより良いパフォーマンスのモデルをもたらす可能性がある。
論文 参考訳(メタデータ) (2022-10-22T17:10:04Z) - Towards Sequence-Level Training for Visual Tracking [60.95799261482857]
本研究は、強化学習に基づく視覚追跡のためのシーケンスレベルのトレーニング戦略を導入する。
4つの代表的な追跡モデル、SiamRPN++、SiamAttn、TransT、TrDiMPは、提案手法をトレーニングに取り入れることで一貫して改善されている。
論文 参考訳(メタデータ) (2022-08-11T13:15:36Z) - Dynamic Supervisor for Cross-dataset Object Detection [52.95818230087297]
オブジェクト検出タスクにおけるデータセット間のトレーニングは、データセットにまたがるカテゴリ内の不整合が、完全に教師付き学習を半教師付き学習に変換するため、複雑である。
本稿では,ハードラベルとソフトラベルを併用した複数更新サブモデルを用いて,アノテーションを複数回更新する動的スーパーバイザフレームワークを提案する。
最終生成アノテーションでは、ハードラベルトレーニングとソフトラベルトレーニングを統合することで、リコールと精度が大幅に向上した。
論文 参考訳(メタデータ) (2022-04-01T03:18:46Z) - Exploration and Exploitation: Two Ways to Improve Chinese Spelling
Correction Models [51.744357472072416]
本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。
実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
論文 参考訳(メタデータ) (2021-05-31T09:17:33Z) - Supervised Contrastive Learning for Pre-trained Language Model
Fine-tuning [23.00300794016583]
最先端の自然言語理解分類モデルは2段階に従う。
微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。
提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
論文 参考訳(メタデータ) (2020-11-03T01:10:39Z) - Improving Semantic Segmentation via Self-Training [75.07114899941095]
半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。
まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。
私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
論文 参考訳(メタデータ) (2020-04-30T17:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。