論文の概要: BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks
- arxiv url: http://arxiv.org/abs/2009.05959v1
- Date: Sun, 13 Sep 2020 09:07:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 02:32:04.254736
- Title: BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks
- Title（参考訳）: BoostingBERT:NLPタスクのためのBERTへのマルチクラスブースティング
- Authors: Tongwen Huang, Qingyun She, Junlin Zhang
- Abstract要約: 本稿では,BERTにマルチクラスブースティングを統合する新しいBoosting BERTモデルを提案する。
提案したモデルについて,GLUEデータセットと3つの中国NLUベンチマークを用いて評価した。
- 参考スコア（独自算出の注目度）: 0.5893124686141781
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As a pre-trained Transformer model, BERT (Bidirectional Encoder
Representations from Transformers) has achieved ground-breaking performance on
multiple NLP tasks. On the other hand, Boosting is a popular ensemble learning
technique which combines many base classifiers and has been demonstrated to
yield better generalization performance in many machine learning tasks. Some
works have indicated that ensemble of BERT can further improve the application
performance. However, current ensemble approaches focus on bagging or stacking
and there has not been much effort on exploring the boosting. In this work, we
proposed a novel Boosting BERT model to integrate multi-class boosting into the
BERT. Our proposed model uses the pre-trained Transformer as the base
classifier to choose harder training sets to fine-tune and gains the benefits
of both the pre-training language knowledge and boosting ensemble in NLP tasks.
We evaluate the proposed model on the GLUE dataset and 3 popular Chinese NLU
benchmarks. Experimental results demonstrate that our proposed model
significantly outperforms BERT on all datasets and proves its effectiveness in
many NLP tasks. Replacing the BERT base with RoBERTa as base classifier,
BoostingBERT achieves new state-of-the-art results in several NLP Tasks. We
also use knowledge distillation within the "teacher-student" framework to
reduce the computational overhead and model storage of BoostingBERT while
keeping its performance for practical application.
- Abstract（参考訳）: 事前学習されたトランスフォーマモデルとして、bert(bidirectional encoder representations from transformers)は複数のnlpタスクにおいて画期的な性能を達成している。
一方、Boostingは、多くの基本分類器を組み合わせた一般的なアンサンブル学習技術であり、多くの機械学習タスクにおいてより良い一般化性能が得られることが実証されている。
BERTのアンサンブルがアプリケーションパフォーマンスをさらに改善できることを示す研究もある。
しかし、現在のアンサンブルアプローチは、袋詰めや積み重ねにフォーカスしており、ブースティングの探求にはあまり努力していない。
本研究では,BERTにマルチクラスブースティングを組み込む新しいBoosting BERTモデルを提案する。
提案モデルは,事前学習した言語知識とNLPタスクにおけるアンサンブルの促進の両方の利点を得るため,事前学習されたトランスフォーマーをベース分類器として利用する。
GLUEデータセットと3つの中国NLUベンチマークを用いて,提案モデルの評価を行った。
実験の結果,提案モデルは全てのデータセットでbertを有意に上回り,多くのnlpタスクにおいてその効果が証明された。
BERT ベースを RoBERTa をベース分類器として置き換えると、BootingBERT はいくつかの NLP Task で新しい最先端結果を達成する。
また,「教師-学生」フレームワーク内での知識蒸留を用いて,BoostingBERTの計算オーバーヘッドとモデル記憶量を削減し,その性能を実用的に維持する。
関連論文リスト
- Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳（メタデータ） (2022-12-01T17:31:42Z) - Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask
Training [55.43088293183165]
近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。
本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。
我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
論文 参考訳（メタデータ） (2022-04-24T08:42:47Z) - MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided
Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。
自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文 参考訳（メタデータ） (2022-04-15T23:19:37Z) - Which Student is Best? A Comprehensive Knowledge Distillation Exam for
Task-Specific BERT Models [3.303435360096988]
タスク固有のBERTベースの教師モデルから様々な学生モデルへの知識蒸留ベンチマークを行う。
インドネシア語でテキスト分類とシークエンスラベリングという2つのタスクでグループ化された12のデータセットについて実験を行った。
実験の結果, トランスフォーマーモデルの普及にもかかわらず, BiLSTM と CNN の学生モデルを用いることで, 性能と計算資源の最良のトレードオフが得られることがわかった。
論文 参考訳（メタデータ） (2022-01-03T10:07:13Z) - Deploying a BERT-based Query-Title Relevance Classifier in a Production
System: a View from the Trenches [3.1219977244201056]
変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。
BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。
BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。
BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
論文 参考訳（メタデータ） (2021-08-23T14:28:23Z) - AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。
提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。
実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-07-15T16:46:01Z) - Optimizing small BERTs trained for German NER [0.16058099298620418]
小型BERTモデルの様々なトレーニング手法を調査し、ドイツの5つの公共NERタスクで評価します。
CSEタグングと改質LCRFの2つの新しい微調整技術を提案します。
さらに,BERTメモリの使用量を削減し,性能を低下させるWWAという新しい手法を導入する。
論文 参考訳（メタデータ） (2021-04-23T12:36:13Z) - Evaluation of BERT and ALBERT Sentence Embedding Performance on
Downstream NLP Tasks [4.955649816620742]
本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。
我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
論文 参考訳（メタデータ） (2021-01-26T09:14:06Z) - ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。
そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。
新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
論文 参考訳（メタデータ） (2020-08-06T07:43:19Z) - Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。
本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
論文 参考訳（メタデータ） (2020-02-24T16:17:12Z) - TwinBERT: Distilling Knowledge to Twin-Structured BERT Models for
Efficient Retrieval [11.923682816611716]
本稿では,効率的な検索のためのTwinBERTモデルを提案する。
クエリとドキュメントをそれぞれ表現するBERTライクなエンコーダがツイン構造化されている。
ドキュメントの埋め込みはオフラインでプリコンパイルされ、メモリにキャッシュされる。
論文 参考訳（メタデータ） (2020-02-14T22:44:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。