論文の概要: Larger models yield better results? Streamlined severity classification of ADHD-related concerns using BERT-based knowledge distillation

• arxiv url: http://arxiv.org/abs/2411.00052v1
• Date: Wed, 30 Oct 2024 17:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:33.611293
• Title: Larger models yield better results? Streamlined severity classification of ADHD-related concerns using BERT-based knowledge distillation
• Title（参考訳）: より大型のモデルでより良い結果が得られるか? BERTによる知識蒸留を用いたADHD関連関心事の合理化重症度分類
• Authors: Ahmed Akib Jawad Karim, Kazi Hafiz Md. Asad, Md. Golam Rabiul Alam,
• Abstract要約: 自然言語処理アプリケーションのための軽量でパワフルなBERTベースのモデルを作成します。 ソーシャルメディアのテキストデータから,注意欠陥多動性障害(ADHD)の重症度レベルを分類した実世界のタスクに,結果モデルであるLastBERTを適用した。
• 参考スコア（独自算出の注目度）: 0.6793286055326242
• License:
• Abstract: This work focuses on the efficiency of the knowledge distillation approach in generating a lightweight yet powerful BERT based model for natural language processing applications. After the model creation, we applied the resulting model, LastBERT, to a real-world task classifying severity levels of Attention Deficit Hyperactivity Disorder (ADHD)-related concerns from social media text data. Referring to LastBERT, a customized student BERT model, we significantly lowered model parameters from 110 million BERT base to 29 million, resulting in a model approximately 73.64% smaller. On the GLUE benchmark, comprising paraphrase identification, sentiment analysis, and text classification, the student model maintained strong performance across many tasks despite this reduction. The model was also used on a real-world ADHD dataset with an accuracy and F1 score of 85%. When compared to DistilBERT (66M) and ClinicalBERT (110M), LastBERT demonstrated comparable performance, with DistilBERT slightly outperforming it at 87%, and ClinicalBERT achieving 86% across the same metrics. These findings highlight the LastBERT model's capacity to classify degrees of ADHD severity properly, so it offers a useful tool for mental health professionals to assess and comprehend material produced by users on social networking platforms. The study emphasizes the possibilities of knowledge distillation to produce effective models fit for use in resource-limited conditions, hence advancing NLP and mental health diagnosis. Furthermore underlined by the considerable decrease in model size without appreciable performance loss is the lower computational resources needed for training and deployment, hence facilitating greater applicability. Especially using readily available computational tools like Google Colab. This study shows the accessibility and usefulness of advanced NLP methods in pragmatic world applications.
• Abstract（参考訳）: 本研究は,自然言語処理アプリケーションのための軽量かつパワフルなBERTベースのモデル生成における知識蒸留手法の効率性に焦点を当てる。 モデル作成後,得られたモデルであるLastBERTを,ソーシャルメディアのテキストデータから,注意欠陥多動性障害(ADHD)の重症度レベルを分類する実世界のタスクに適用した。 カスタマイズされた学生BERTモデルであるLastBERTを参照して、モデルパラメータを110万BERTベースから2900万に大幅に下げた結果、モデルは約73.64%縮小した。 GLUEベンチマークでは、パラフレーズ識別、感情分析、テキスト分類を含む学生モデルは、この削減にもかかわらず、多くのタスクにおいて強力な性能を維持した。 このモデルは、精度とF1スコアが85%の現実世界のADHDデータセットでも使用された。 DistilBERT (66M) と ClinicalBERT (110M) と比較すると、LastBERT は同等のパフォーマンスを示し、DistilBERT は87%でわずかに上回った。 これらの結果は、LastBERTモデルがADHD重症度を適切に分類する能力を強調しており、メンタルヘルスの専門家がソーシャルネットワークプラットフォーム上でユーザーが生成した物質を評価し、理解するための有用なツールを提供する。 この研究は、資源制限条件に適合する効果的なモデルを作成するための知識蒸留の可能性を強調し、その結果、NLPとメンタルヘルスの診断が進歩する。 さらに、性能を損なうことなく、モデルサイズが大幅に減少することで、トレーニングやデプロイメントに必要な計算リソースが低くなり、適用性が向上する。 特に、Google Colabのような手軽に使える計算ツールを使用する。 本研究では,Pragmatic World アプリケーションにおける高度な NLP 手法のアクセシビリティと有用性を示す。

関連論文リスト

• A Comparative Study of Hybrid Models in Health Misinformation Text Classification [0.43695508295565777]
  本研究では、オンラインソーシャルネットワーク(OSN)上での新型コロナウイルス関連誤情報検出における機械学習(ML)モデルとディープラーニング(DL)モデルの有効性を評価する。 本研究は, 従来のMLアルゴリズムよりも, DLおよびハイブリッドDLモデルの方が, OSN上の新型コロナウイルスの誤情報を検出するのに有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-08T19:43:37Z)
• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Knowledge Distillation of LLM for Automatic Scoring of Science Education Assessments [4.541309099803903]
  本研究では,超微調整大言語モデル(LLM)の知識蒸留(KD)手法を提案する。 リソース制約のあるデバイスにこれらのモデルをデプロイするという課題を特にターゲットとしています。
  論文  参考訳（メタデータ） (2023-12-26T01:24:25Z)
• Which Augmentation Should I Use? An Empirical Investigation of Augmentations for Self-Supervised Phonocardiogram Representation Learning [5.438725298163702]
  Contrastive Self-Supervised Learning (SSL)はラベル付きデータの不足に対する潜在的な解決策を提供する。 1次元心電図(PCG)分類におけるコントラスト学習の最適化を提案する。 トレーニング分布によっては、完全教師付きモデルの有効性が最大32%低下し、SSLモデルは最大10%低下し、場合によっては改善される。
  論文  参考訳（メタデータ） (2023-12-01T11:06:00Z)
• A Few-Shot Approach to Dysarthric Speech Intelligibility Level Classification Using Transformers [0.0]
  発声障害(Dysarthria)は、言葉の発音が難しいことによるコミュニケーションを妨げる言語障害である。 文献の多くは、変形性音声に対するASRシステムの改善に焦点を当てている。 この研究は、変形の有無を正確に分類できるモデルを開発することを目的としている。
  論文  参考訳（メタデータ） (2023-09-17T17:23:41Z)
• Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
  臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。 本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。 提案手法により,下流タスクの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-03-08T03:56:31Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• RefBERT: Compressing BERT by Referencing to Pre-computed Representations [19.807272592342148]
  RefBERTはバニラのTinyBERTを8.1%以上上回り、GLUEベンチマークでBERTBASE$の94%以上のパフォーマンスを達成した。 RefBERTは、BERT$_rm BASE$よりも7.4倍小さく、推論では9.5倍高速である。
  論文  参考訳（メタデータ） (2021-06-11T01:22:08Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。