論文の概要: DSG-KD: Knowledge Distillation from Domain-Specific to General Language Models

• arxiv url: http://arxiv.org/abs/2409.14904v1
• Date: Mon, 23 Sep 2024 10:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 15:26:12.927853
• Title: DSG-KD: Knowledge Distillation from Domain-Specific to General Language Models
• Title（参考訳）: DSG-KD:ドメイン特化言語モデルから一般言語モデルへの知識蒸留
• Authors: Sangyeon Cho, Jangyeong Jeon, Dongjoon Lee, Changhee Lee, Junyeong Kim,
• Abstract要約: 本研究は,韓国の小児救急部門(PED)から得られた電子カルテ(EMR)データに基づく緊急時・緊急時・緊急時分類タスクについて検討した。 既存のドメイン固有の事前学習言語モデルは、N言語自由テキストデータ特性を扱う場合の一般的な言語モデルと比較して性能が劣る。 本稿では,知識蒸留を利用したドメイン知識伝達手法を提案する。
• 参考スコア（独自算出の注目度）: 8.328673243329794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of pre-trained language models fine-tuned to address specific downstream tasks is a common approach in natural language processing (NLP). However, acquiring domain-specific knowledge via fine-tuning is challenging. Traditional methods involve pretraining language models using vast amounts of domain-specific data before fine-tuning for particular tasks. This study investigates emergency/non-emergency classification tasks based on electronic medical record (EMR) data obtained from pediatric emergency departments (PEDs) in Korea. Our findings reveal that existing domain-specific pre-trained language models underperform compared to general language models in handling N-lingual free-text data characteristics of non-English-speaking regions. To address these limitations, we propose a domain knowledge transfer methodology that leverages knowledge distillation to infuse general language models with domain-specific knowledge via fine-tuning. This study demonstrates the effective transfer of specialized knowledge between models by defining a general language model as the student model and a domain-specific pre-trained model as the teacher model. In particular, we address the complexities of EMR data obtained from PEDs in non-English-speaking regions, such as Korea, and demonstrate that the proposed method enhances classification performance in such contexts. The proposed methodology not only outperforms baseline models on Korean PED EMR data, but also promises broader applicability in various professional and technical domains. In future works, we intend to extend this methodology to include diverse non-English-speaking regions and address additional downstream tasks, with the aim of developing advanced model architectures using state-of-the-art KD techniques. The code is available in https://github.com/JoSangYeon/DSG-KD.
• Abstract（参考訳）: 特定の下流タスクに対処するために微調整された事前訓練された言語モデルの使用は、自然言語処理(NLP)における一般的なアプローチである。 しかし、微調整によるドメイン固有の知識の獲得は困難である。 従来の手法では、特定のタスクを微調整する前に、膨大な量のドメイン固有データを使用して言語モデルを事前訓練する。 本研究は,韓国の小児救急部門(PED)から得られた電子カルテ(EMR)データに基づく緊急時・緊急時・緊急時分類タスクについて検討した。 その結果,非英語圏のN言語自由テキストデータ特性を扱う場合,既存のドメイン特化事前学習言語モデルは,一般言語モデルと比較して性能が低いことがわかった。 これらの制約に対処するために,知識蒸留を利用したドメイン知識伝達手法を提案し,ドメイン固有知識をドメイン固有知識に注入する。 本研究では、学生モデルとして一般言語モデルを定義し、教師モデルとしてドメイン特化事前学習モデルを定義することにより、モデル間での専門知識の効果的な伝達を実証する。 特に韓国など非英語圏のPEDから得られたEMRデータの複雑さに対処し,これらの文脈における分類性能の向上を実証する。 提案手法は韓国のPED EMRデータに基づくベースラインモデルを上回るだけでなく,様々な専門分野や技術分野にも適用可能であることを保証している。 今後の研究では、この方法論を多種多様な非英語圏に拡張し、さらに下流の課題に対処し、最先端のKD技術を用いて高度なモデルアーキテクチャを開発することを目的としている。 コードはhttps://github.com/JoSangYeon/DSG-KD.comで入手できる。

関連論文リスト

• A Practical Guide to Fine-tuning Language Models with Limited Data [9.413178499853156]
  事前訓練されたLarge Language Models (LLM) を採用することは、膨大なデータ要件にもかかわらず、自然言語処理(NLP)における事実上の標準となっている。 限られたデータを用いたLLMの学習に焦点をあてた最近の研究の急増に触発された本研究では、データ不足の下流タスクにおけるモデル性能を最適化するための、近年のトランスファー学習アプローチについて調査する。
  論文  参考訳（メタデータ） (2024-11-14T15:55:37Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
  大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。 本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
  論文  参考訳（メタデータ） (2024-05-07T21:58:45Z)
• Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding [16.220303664681172]
  我々は、翻訳された英語の医療データとドイツの臨床データの3Bトークンから2.4Bトークンを抽出し、いくつかのドイツの医療言語モデルを事前訓練した。 得られたモデルは、名前付きエンティティ認識(NER)、多ラベル分類、抽出質問応答など、様々なドイツの下流タスクで評価された。 本研究は, 臨床モデルとスクラッチからトレーニングした成績を一致させたり, 上回ったりする能力が, 連続事前訓練によって実証されていることを結論する。
  論文  参考訳（メタデータ） (2024-04-08T17:24:04Z)
• Language Model Adaptation to Specialized Domains through Selective Masking based on Genre and Topical Characteristics [4.9639158834745745]
  本稿では、ジャンルや話題情報を活用した革新的なマスキング手法を導入し、言語モデルを専門ドメインにカスタマイズする。 本手法では,その重要度に基づいて単語を優先順位付けし,マスキング手順を導出するランキング処理を取り入れた。 法域内での継続事前学習を用いて行った実験は、英語のLegalGLUEベンチマークにおいて、我々のアプローチの有効性を裏付けている。
  論文  参考訳（メタデータ） (2024-02-19T10:43:27Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• CALM: Continuous Adaptive Learning for Language Modeling [18.72860206714457]
  自然言語処理コミュニティでは,大規模言語表現モデルのトレーニングが標準となっている。 これらの事前学習モデルが破滅的忘れという形で性能劣化を示すことを示す。 言語モデリングのための継続的適応学習CALM:複数のドメインにまたがる知識を保持するモデルをレンダリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-04-08T03:51:17Z)
• Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
  大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。 このようなモデルに基づくドメインデータ選択手法を提案する。 我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
  論文  参考訳（メタデータ） (2020-04-05T06:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。