論文の概要: An Effective Incorporating Heterogeneous Knowledge Curriculum Learning for Sequence Labeling

• arxiv url: http://arxiv.org/abs/2402.13534v1
• Date: Wed, 21 Feb 2024 05:04:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:57:10.592875
• Title: An Effective Incorporating Heterogeneous Knowledge Curriculum Learning for Sequence Labeling
• Title（参考訳）: シークエンスラベリングのための効果的な不均一知識カリキュラム学習
• Authors: Xuemei Tang and Qi Su
• Abstract要約: シーケンスラベリングタスクに特化して設計された2段階のカリキュラム学習(TCL)フレームワークを提案する。 このフレームワークは、データインスタンスを容易から困難に徐々に導入し、パフォーマンスとトレーニング速度の両方を改善することで、トレーニングを強化する。
• 参考スコア（独自算出の注目度）: 9.237399190335598
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sequence labeling models often benefit from incorporating external knowledge. However, this practice introduces data heterogeneity and complicates the model with additional modules, leading to increased expenses for training a high-performing model. To address this challenge, we propose a two-stage curriculum learning (TCL) framework specifically designed for sequence labeling tasks. The TCL framework enhances training by gradually introducing data instances from easy to hard, aiming to improve both performance and training speed. Furthermore, we explore different metrics for assessing the difficulty levels of sequence labeling tasks. Through extensive experimentation on six Chinese word segmentation (CWS) and Part-of-speech tagging (POS) datasets, we demonstrate the effectiveness of our model in enhancing the performance of sequence labeling models. Additionally, our analysis indicates that TCL accelerates training and alleviates the slow training problem associated with complex models.
• Abstract（参考訳）: シーケンスラベリングモデルは、しばしば外部知識を取り入れることの恩恵を受ける。 しかし、このプラクティスはデータの不均一性を導入し、モデルを追加モジュールで複雑化し、ハイパフォーマンスなモデルをトレーニングするためのコストが増大する。 この課題に対処するために、シーケンスラベリングタスクに特化した2段階のカリキュラム学習(TCL)フレームワークを提案する。 tclフレームワークは、データインスタンスを容易から困難へと徐々に導入し、パフォーマンスとトレーニング速度の両方を改善することで、トレーニングを強化している。 さらに,シーケンスラベリングタスクの難易度を評価するためのさまざまな指標について検討する。 6つの中国語単語セグメンテーション(CWS)とPOS(Part-of-speech tagging)データセットの広範な実験を通じて、シーケンスラベリングモデルの性能向上におけるモデルの有効性を実証した。 さらに,tclがトレーニングを加速し,複雑なモデルに関連する遅いトレーニング問題を緩和することを示す。

関連論文リスト

• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• A Psychology-based Unified Dynamic Framework for Curriculum Learning [5.410910735259908]
  本稿では、心理学に基づくカリキュラム学習のための統一動的フレームワーク(PUDF)を提案する。 我々は、人工集団(AC)からの応答にIRT(Item Response Theory)を適用して、データトレーニングの難しさを定量化する。 本稿では,モデル学習中に適切なデータ量をスケジュールするDDS-MAE戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-09T20:30:37Z)
• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• Reinforcement Learning for Topic Models [3.42658286826597]
  本稿では,ProdLDAにおける変分オートエンコーダを連続行動空間強化学習ポリシーに置き換えることにより,トピックモデリングに強化学習手法を適用した。 ニューラルネットワークアーキテクチャの近代化、ELBO損失の重み付け、コンテキスト埋め込みの使用、トピックの多様性と一貫性の計算による学習プロセスの監視など、いくつかの変更を導入している。
  論文  参考訳（メタデータ） (2023-05-08T16:41:08Z)
• Training Dynamics for Curriculum Learning: A Study on Monolingual and Cross-lingual NLU [19.42920238320109]
  カリキュラム学習(Curriculum Learning, CL)は、典型的に増加する困難傾向の中で、ランキングの例を通してモデルを訓練する技法である。 本研究では,学習力学を難易度指標として活用することにより,自然言語理解(NLU)タスクにCLを用いる。 実験によると、トレーニングのダイナミクスは、他の難しいメトリクスと比較して、スムーズなトレーニングでより良いパフォーマンスのモデルをもたらす可能性がある。
  論文  参考訳（メタデータ） (2022-10-22T17:10:04Z)
• Towards Sequence-Level Training for Visual Tracking [60.95799261482857]
  本研究は、強化学習に基づく視覚追跡のためのシーケンスレベルのトレーニング戦略を導入する。 4つの代表的な追跡モデル、SiamRPN++、SiamAttn、TransT、TrDiMPは、提案手法をトレーニングに取り入れることで一貫して改善されている。
  論文  参考訳（メタデータ） (2022-08-11T13:15:36Z)
• Dynamic Supervisor for Cross-dataset Object Detection [52.95818230087297]
  オブジェクト検出タスクにおけるデータセット間のトレーニングは、データセットにまたがるカテゴリ内の不整合が、完全に教師付き学習を半教師付き学習に変換するため、複雑である。 本稿では,ハードラベルとソフトラベルを併用した複数更新サブモデルを用いて,アノテーションを複数回更新する動的スーパーバイザフレームワークを提案する。 最終生成アノテーションでは、ハードラベルトレーニングとソフトラベルトレーニングを統合することで、リコールと精度が大幅に向上した。
  論文  参考訳（メタデータ） (2022-04-01T03:18:46Z)
• Exploration and Exploitation: Two Ways to Improve Chinese Spelling Correction Models [51.744357472072416]
  本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。 実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:33Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。