論文の概要: Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning

• arxiv url: http://arxiv.org/abs/2012.02462v1
• Date: Fri, 4 Dec 2020 08:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 08:19:12.132436
• Title: Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning
• Title（参考訳）: アクティブラーニングによる低リソース自然言語理解のための微調整bert
• Authors: Daniel Grie{\ss}haber, Johannes Maucher and Ngoc Thang Vu
• Abstract要約: 本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
• 参考スコア（独自算出の注目度）: 30.5853328612593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, leveraging pre-trained Transformer based language models in down stream, task specific models has advanced state of the art results in natural language understanding tasks. However, only a little research has explored the suitability of this approach in low resource settings with less than 1,000 training data points. In this work, we explore fine-tuning methods of BERT -- a pre-trained Transformer based language model -- by utilizing pool-based active learning to speed up training while keeping the cost of labeling new data constant. Our experimental results on the GLUE data set show an advantage in model performance by maximizing the approximate knowledge gain of the model when querying from the pool of unlabeled data. Finally, we demonstrate and analyze the benefits of freezing layers of the language model during fine-tuning to reduce the number of trainable parameters, making it more suitable for low-resource settings.
• Abstract（参考訳）: 近年,事前学習されたトランスフォーマーに基づく言語モデルをダウンストリームで活用するタスク固有モデルは,自然言語理解タスクにおける技術結果の高度化を実現している。 しかし、1000のトレーニングデータポイント未満のリソース設定で、このアプローチの適合性を調査する研究はほとんどない。 本研究では、プールベースのアクティブラーニングを利用してトレーニングを高速化し、新しいデータのラベル付けコストを抑えながら、事前訓練されたTransformerベースの言語モデルであるBERTの微調整方法を検討する。 GLUEデータセットにおける実験結果から,ラベルなしデータのプールからクエリする際のモデルの知識獲得を最大化することにより,モデル性能の優位性を示す。 最後に、訓練可能なパラメータの数を減らし、低リソース設定に適したものにするため、微調整中の言語モデルの凍結層の利点を実証し分析する。

関連論文リスト

• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Semi-Supervised Learning Based on Reference Model for Low-resource TTS [32.731900584216724]
  本稿では,ラベル付きターゲットデータに制限があるニューラルネットワークの半教師付き学習手法を提案する。 実験結果から,対象データに制限のある半教師付き学習手法は,音声合成における自然性と頑健性を達成するために,テストデータの音声品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2022-10-25T07:48:07Z)
• On the Usability of Transformers-based models for a French Question-Answering task [2.44288434255221]
  本稿では,大規模学習問題におけるトランスフォーマーに基づく言語モデルのユーザビリティに着目した。 本稿では,低リソース環境下での競合性を示すFrALBERTの新しいコンパクトモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-19T09:46:15Z)
• Actuarial Applications of Natural Language Processing Using Transformers: Case Studies for Using Text Features in an Actuarial Context [0.0]
  このチュートリアルは、テキストデータをアクチュアリ分類と回帰タスクに組み込むことを実証する。 主な焦点はトランスフォーマーモデルを用いた手法である。 このケーススタディは、多言語設定と長い入力シーケンスに関連する課題に取り組む。
  論文  参考訳（メタデータ） (2022-06-04T15:39:30Z)
• Clinical Prompt Learning with Frozen Language Models [4.077071350659386]
  大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。 臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。 結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
  論文  参考訳（メタデータ） (2022-05-11T14:25:13Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Bayesian Active Learning with Pretrained Language Models [9.161353418331245]
  Active Learning (AL)は、ラベルなしデータのプールからアノテーションのためのデータを反復的に選択する手法である。 以前のALアプローチは、イテレーションごとにゼロからトレーニングされるタスク固有のモデルに制限されている。 BALM;Bayesian Active Learning with pretrained language modelを紹介します。
  論文  参考訳（メタデータ） (2021-04-16T19:07:31Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。