論文の概要: Fine-tuning BERT for Low-Resource Natural Language Understanding via
Active Learning
- arxiv url: http://arxiv.org/abs/2012.02462v1
- Date: Fri, 4 Dec 2020 08:34:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 08:19:12.132436
- Title: Fine-tuning BERT for Low-Resource Natural Language Understanding via
Active Learning
- Title(参考訳): アクティブラーニングによる低リソース自然言語理解のための微調整bert
- Authors: Daniel Grie{\ss}haber, Johannes Maucher and Ngoc Thang Vu
- Abstract要約: 本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。
実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。
我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
- 参考スコア(独自算出の注目度): 30.5853328612593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, leveraging pre-trained Transformer based language models in down
stream, task specific models has advanced state of the art results in natural
language understanding tasks. However, only a little research has explored the
suitability of this approach in low resource settings with less than 1,000
training data points. In this work, we explore fine-tuning methods of BERT -- a
pre-trained Transformer based language model -- by utilizing pool-based active
learning to speed up training while keeping the cost of labeling new data
constant. Our experimental results on the GLUE data set show an advantage in
model performance by maximizing the approximate knowledge gain of the model
when querying from the pool of unlabeled data. Finally, we demonstrate and
analyze the benefits of freezing layers of the language model during
fine-tuning to reduce the number of trainable parameters, making it more
suitable for low-resource settings.
- Abstract(参考訳): 近年,事前学習されたトランスフォーマーに基づく言語モデルをダウンストリームで活用するタスク固有モデルは,自然言語理解タスクにおける技術結果の高度化を実現している。
しかし、1000のトレーニングデータポイント未満のリソース設定で、このアプローチの適合性を調査する研究はほとんどない。
本研究では、プールベースのアクティブラーニングを利用してトレーニングを高速化し、新しいデータのラベル付けコストを抑えながら、事前訓練されたTransformerベースの言語モデルであるBERTの微調整方法を検討する。
GLUEデータセットにおける実験結果から,ラベルなしデータのプールからクエリする際のモデルの知識獲得を最大化することにより,モデル性能の優位性を示す。
最後に、訓練可能なパラメータの数を減らし、低リソース設定に適したものにするため、微調整中の言語モデルの凍結層の利点を実証し分析する。
関連論文リスト
- Semi-Supervised Learning Based on Reference Model for Low-resource TTS [32.731900584216724]
本稿では,ラベル付きターゲットデータに制限があるニューラルネットワークの半教師付き学習手法を提案する。
実験結果から,対象データに制限のある半教師付き学習手法は,音声合成における自然性と頑健性を達成するために,テストデータの音声品質を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2022-10-25T07:48:07Z) - On the Usability of Transformers-based models for a French
Question-Answering task [2.44288434255221]
本稿では,大規模学習問題におけるトランスフォーマーに基づく言語モデルのユーザビリティに着目した。
本稿では,低リソース環境下での競合性を示すFrALBERTの新しいコンパクトモデルを提案する。
論文 参考訳(メタデータ) (2022-07-19T09:46:15Z) - Actuarial Applications of Natural Language Processing Using
Transformers: Case Studies for Using Text Features in an Actuarial Context [0.0]
このチュートリアルは、テキストデータをアクチュアリ分類と回帰タスクに組み込むことを実証する。
主な焦点はトランスフォーマーモデルを用いた手法である。
このケーススタディは、多言語設定と長い入力シーケンスに関連する課題に取り組む。
論文 参考訳(メタデータ) (2022-06-04T15:39:30Z) - Clinical Prompt Learning with Frozen Language Models [4.077071350659386]
大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。
臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。
結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
論文 参考訳(メタデータ) (2022-05-11T14:25:13Z) - Improving Meta-learning for Low-resource Text Classification and
Generation via Memory Imitation [87.98063273826702]
本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。
本手法の有効性を証明するために理論的解析を行った。
論文 参考訳(メタデータ) (2022-03-22T12:41:55Z) - BERT WEAVER: Using WEight AVERaging to enable lifelong learning for
transformer-based models in biomedical semantic search engines [49.75878234192369]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。
WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
論文 参考訳(メタデータ) (2022-02-21T10:34:41Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - Bayesian Active Learning with Pretrained Language Models [9.161353418331245]
Active Learning (AL)は、ラベルなしデータのプールからアノテーションのためのデータを反復的に選択する手法である。
以前のALアプローチは、イテレーションごとにゼロからトレーニングされるタスク固有のモデルに制限されている。
BALM;Bayesian Active Learning with pretrained language modelを紹介します。
論文 参考訳(メタデータ) (2021-04-16T19:07:31Z) - Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。
提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
論文 参考訳(メタデータ) (2021-01-20T13:07:39Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳(メタデータ) (2020-11-03T07:49:15Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。