論文の概要: Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models

• arxiv url: http://arxiv.org/abs/2201.00558v1
• Date: Mon, 3 Jan 2022 10:07:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 14:15:48.034428
• Title: Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models
• Title（参考訳）: どの学生がベストか? タスク特化BERTモデルの総合的知識蒸留試験
• Authors: Made Nindyatama Nityasya, Haryo Akbarianto Wibowo, Rendi Chevi, Radityo Eko Prasojo, Alham Fikri Aji
• Abstract要約: タスク固有のBERTベースの教師モデルから様々な学生モデルへの知識蒸留ベンチマークを行う。 インドネシア語でテキスト分類とシークエンスラベリングという2つのタスクでグループ化された12のデータセットについて実験を行った。 実験の結果, トランスフォーマーモデルの普及にもかかわらず, BiLSTM と CNN の学生モデルを用いることで, 性能と計算資源の最良のトレードオフが得られることがわかった。
• 参考スコア（独自算出の注目度）: 3.303435360096988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We perform knowledge distillation (KD) benchmark from task-specific BERT-base teacher models to various student models: BiLSTM, CNN, BERT-Tiny, BERT-Mini, and BERT-Small. Our experiment involves 12 datasets grouped in two tasks: text classification and sequence labeling in the Indonesian language. We also compare various aspects of distillations including the usage of word embeddings and unlabeled data augmentation. Our experiments show that, despite the rising popularity of Transformer-based models, using BiLSTM and CNN student models provide the best trade-off between performance and computational resource (CPU, RAM, and storage) compared to pruned BERT models. We further propose some quick wins on performing KD to produce small NLP models via efficient KD training mechanisms involving simple choices of loss functions, word embeddings, and unlabeled data preparation.
• Abstract（参考訳）: 我々は,タスク固有のBERTベースの教師モデルから,BiLSTM,CNN,BERT-Tiny,BERT-Mini,BERT-Smallといった学生モデルまで,知識蒸留(KD)ベンチマークを実施している。 実験では,インドネシア語のテキスト分類とシーケンスラベリングの2つのタスクに12のデータセットをグループ化する。 また, 用語埋め込みの利用やラベル付きデータ拡張など, 蒸留の様々な側面を比較検討した。 実験の結果, トランスフォーマーモデルの普及にもかかわらず, BiLSTM と CNN の学生モデルを用いることで, 性能と計算資源(CPU, RAM, ストレージ)のトレードオフが, プルーニングされたBERTモデルと比較して最も優れていることがわかった。 さらに,損失関数,単語埋め込み,ラベルなしデータ準備の簡単な選択を含む効率的なkdトレーニング機構を通じて,kdを実行して小さなnlpモデルを作成するためのクイックウィングを提案する。

関連論文リスト

• L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi [0.7874708385247353]
  この研究は、ヒンディー語とマラティ語という2つの低リソースのインドの言語に焦点を当てている。 機械翻訳を用いた合成NLIとSTSデータセットを用いて,これらの言語のための文-BERTモデルを訓練する。 我々は,NLI事前学習とSTSbファインチューニングの戦略が,ヒンディー語とマラタイ語の文類似性モデルの生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-11-21T05:15:48Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
  変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
  論文  参考訳（メタデータ） (2021-08-23T14:28:23Z)
• MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation [9.91548921801095]
  本稿では,知識蒸留の性能を向上させる新しいテキストベース対逆学習アルゴリズムであるMATE-KDを提案する。 我々は,BERTモデルを用いたアルゴリズムをGLUEベンチマークで評価し,MATE-KDが競合する対角学習やデータ拡張ベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-12T19:11:34Z)
• Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
  本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。 提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-20T13:07:39Z)
• BERT2DNN: BERT Distillation with Massive Unlabeled Data for Online E-Commerce Search [34.951088875638696]
  関連性は、Eコマース検索プラットフォームのユーザエクスペリエンスとビジネス利益に大きな影響を与える。 本稿では,BERTと関連する多層トランスフォーマー教師モデルから知識を抽出し,検索関連性予測のためのデータ駆動型フレームワークを提案する。 GLUEベンチマークから,社内のeコマース検索関連データと感情分析に基づく公開データの両方について実験を行った。
  論文  参考訳（メタデータ） (2020-10-20T16:56:04Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks [0.5893124686141781]
  本稿では,BERTにマルチクラスブースティングを統合する新しいBoosting BERTモデルを提案する。 提案したモデルについて,GLUEデータセットと3つの中国NLUベンチマークを用いて評価した。
  論文  参考訳（メタデータ） (2020-09-13T09:07:14Z)
• Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
  BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。 アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2020-06-22T03:39:00Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。