論文の概要: Mitigating Catastrophic Forgetting in Multi-domain Chinese Spelling Correction by Multi-stage Knowledge Transfer Framework

• arxiv url: http://arxiv.org/abs/2402.11422v1
• Date: Sun, 18 Feb 2024 01:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 21:23:45.438455
• Title: Mitigating Catastrophic Forgetting in Multi-domain Chinese Spelling Correction by Multi-stage Knowledge Transfer Framework
• Title（参考訳）: 多段階知識伝達フレームワークによる中国語綴り誤りの軽減
• Authors: Peng Xing, Yinghui Li, Shirong Ma, Xinnian Liang, Haojing Huang, Yangning Li, Hai-Tao Zheng, Wenhao Jiang, Ying Shen
• Abstract要約: 中国語のspelling Correctionは、与えられた文中のスペルエラーを検出し、修正することを目的としている。 本稿では,マルチドメインシナリオに適応する際のCSCモデルの鍵となる欠陥に焦点をあてる。 モデルに依存しない新しい多段階知識伝達フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.56041822768575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chinese Spelling Correction (CSC) aims to detect and correct spelling errors in given sentences. Recently, multi-domain CSC has gradually attracted the attention of researchers because it is more practicable. In this paper, we focus on the key flaw of the CSC model when adapting to multi-domain scenarios: the tendency to forget previously acquired knowledge upon learning new domain-specific knowledge (i.e., catastrophic forgetting). To address this, we propose a novel model-agnostic Multi-stage Knowledge Transfer (MKT) framework, which utilizes a continuously evolving teacher model for knowledge transfer in each domain, rather than focusing solely on new domain knowledge. It deserves to be mentioned that we are the first to apply continual learning methods to the multi-domain CSC task. Experiments prove the effectiveness of our proposed method, and further analyses demonstrate the importance of overcoming catastrophic forgetting for improving the model performance.
• Abstract（参考訳）: Chinese Spelling Correction (CSC)は、与えられた文中のスペルエラーを検出し、修正することを目的としている。 近年、マルチドメインCSCはより実践的であるため、研究者の注目を集めている。 本稿では,複数のドメインシナリオに適応する際のCSCモデルの重要な欠陥,すなわち,新たなドメイン固有の知識(破滅的な忘れ事)を学習する際に獲得した知識を忘れる傾向に注目した。 そこで本研究では,新しいドメイン知識にのみ焦点をあてるのではなく,各ドメインにおける知識伝達に継続的に進化する教師モデルを利用する,モデルに依存しない多段階知識伝達(MKT)フレームワークを提案する。 マルチドメインCSCタスクに継続的学習メソッドを適用するのは,私たちが初めてです。 提案手法の有効性を実証する実験を行い,さらなる解析によりモデル性能を向上させるために壊滅的な忘れを克服することの重要性を実証した。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning [16.318126586825734]
  インクリメンタルラーニング(IL)は、逐次入力タスクから知識を蓄積することを目的としている。 私たちはVersatile Incremental Learning (VIL) という,より挑戦的で現実的で,未探索のILシナリオを考えています。 Incremental with Shift cONtrol (ICON) という,シンプルで効果的なILフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-17T07:44:28Z)
• Understanding the Cross-Domain Capabilities of Video-Based Few-Shot Action Recognition Models [3.072340427031969]
  Few-shot Action Recognition (FSAR) は、ビデオ中の新しいアクションをわずかに例を使って識別できるモデルを学ぶことを目的としている。 メタトレーニング中に見られるベースデータセットと評価に使用される新しいデータセットは、異なるドメインから得ることができると仮定すると、クロスドメインの少数ショット学習によってデータ収集とアノテーションコストが軽減される。 我々は、新しいクロスドメインタスクに対して、既存の最先端の単一ドメイン、転送ベース、およびクロスドメインFSARメソッドを体系的に評価する。
  論文  参考訳（メタデータ） (2024-06-03T07:48:18Z)
• Weakly Supervised Change Detection via Knowledge Distillation and Multiscale Sigmoid Inference [26.095501974608908]
  我々は知識蒸留とマルチスケールシグモイド推論(KD-MSI)による弱教師付き変化検出技術を開発した。 提案手法は,その統合学習戦略により,最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-09T05:01:51Z)
• Investigating Continual Pretraining in Large Language Models: Insights and Implications [9.591223887442704]
  本稿では,大規模言語モデル(LLM)における継続学習の進化領域について考察する。 我々の主な重点は、LLMに様々なドメインからの新たな情報を統合する能力を持たせるために設計された、連続的なドメイン適応型事前訓練である。 モデルサイズが学習の効率性や忘れに及ぼす影響や、新興ドメインの進行と類似性がこれらのモデル内の知識伝達に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-02-27T10:47:24Z)
• Enhancing Continuous Domain Adaptation with Multi-Path Transfer Curriculum [8.712743055816958]
  継続的ドメイン適応(Continuous Domain Adaptation)は、トレーニングとテストデータの分散ギャップを埋める効果的なテクニックとして登場した。 本稿では,ドメインの順序付けとエラー蓄積の問題に厳密に対処する新しい手法W-MPOTを提案する。 我々は、複数のデータセット上でW-MPOTを広範囲に評価し、マルチセッションアルツハイマーMR画像分類における54.1%の精度向上と、バッテリ容量推定における94.7%のMSE削減を実現した。
  論文  参考訳（メタデータ） (2024-02-26T15:59:38Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。