Fugu-MT 論文翻訳(概要): Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets

論文の概要: Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets

arxiv url: http://arxiv.org/abs/2004.13138v1
Date: Tue, 21 Apr 2020 02:37:44 GMT
ステータス: 処理完了
システム内更新日: 2022-12-11 06:22:06.731734
Title: Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets
Title（参考訳）: ラベル付きテキストデータセットのアクティブラーニングにおける事前学習型言語モデルに基づく表現の有効性の検討
Authors: Jinghui Lu and Brian MacNamee
Abstract要約: アクティブな学習を行う際にテキスト文書を表現するために使用される表現メカニズムは、そのプロセスがどれほど効果的かに大きな影響を及ぼす。本稿では,事前学習型ニューラルネットワークモデルに基づく表現の有効性の包括的評価について述べる。実験の結果,能動学習で得られた限られたラベル情報は,分類器の訓練に利用できるだけでなく,BERTに似た言語モデルによって生成された埋め込みも適応的に改善できることがわかった。
参考スコア（独自算出の注目度）: 4.7718339202518685
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Active learning has been shown to be an effective way to alleviate some of the effort required in utilising large collections of unlabelled data for machine learning tasks without needing to fully label them. The representation mechanism used to represent text documents when performing active learning, however, has a significant influence on how effective the process will be. While simple vector representations such as bag-of-words and embedding-based representations based on techniques such as word2vec have been shown to be an effective way to represent documents during active learning, the emergence of representation mechanisms based on the pre-trained transformer-based neural network models popular in natural language processing research (e.g. BERT) offer a promising, and as yet not fully explored, alternative. This paper describes a comprehensive evaluation of the effectiveness of representations based on pre-trained transformer-based language models for active learning. This evaluation shows that transformer-based models, especially BERT-like models, that have not yet been widely used in active learning, achieve a significant improvement over more commonly used vector representations like bag-of-words or other classical word embeddings like word2vec. This paper also investigates the effectiveness of representations based on variants of BERT such as Roberta, Albert as well as comparing the effectiveness of the [CLS] token representation and the aggregated representation that can be generated using BERT-like models. Finally, we propose an approach Adaptive Tuning Active Learning. Our experiments show that the limited label information acquired in active learning can not only be used for training a classifier but can also adaptively improve the embeddings generated by the BERT-like language models as well.
Abstract（参考訳）: アクティブな学習は、完全にラベル付けする必要なく、機械学習タスクのために大量の未ラベルデータを利用するのに必要な労力を軽減する効果的な方法であることが示されている。しかし、アクティブな学習を行う際にテキスト文書を表現するための表現メカニズムは、そのプロセスがどれほど効果的かに大きな影響を与える。単語の袋のような単純なベクトル表現やword2vecのような技術に基づく埋め込みベースの表現は、アクティブな学習中にドキュメントを表現する効果的な方法であることが示されているが、自然言語処理研究(例えばbert)でよく使われる、事前学習されたトランスフォーマーベースのニューラルネットワークモデルに基づく表現メカニズムの出現は、有望で、まだ完全には検討されていない代替手段を提供する。本稿では,事前学習したトランスフォーマーに基づく言語モデルに基づく表現の有効性の総合評価を行う。この評価は、まだアクティブ学習で広く使われていないトランスフォーマーベースのモデル、特にbertのようなモデルが、単語の袋やword2vecのような古典的単語埋め込みといったより一般的なベクトル表現よりも大幅に改善されていることを示している。また, Roberta や Albert などの BERT の変種に基づく表現の有効性について検討するとともに,[CLS] トークン表現の有効性と BERT のようなモデルを用いて生成可能な集約表現との比較を行った。最後に,適応チューニング能動的学習手法を提案する。実験の結果,能動学習で得られた限られたラベル情報は,分類器の訓練に利用できるだけでなく,BERTに似た言語モデルによる埋め込みも適応的に改善できることがわかった。

関連論文リスト

Self-Training for Sample-Efficient Active Learning for Text Classification with Pre-Trained Language Models [3.546617486894182]
我々は,4つのテキスト分類ベンチマークで評価した,新しい効果的な自己学習戦略であるHASTを紹介する。その結果、4つのデータセットのうち3つに対して、再現された自己学習手法よりも優れており、以前の実験に匹敵する分類結果が得られることがわかった。
論文参考訳（メタデータ） (2024-06-13T15:06:11Z)
Synergizing Unsupervised and Supervised Learning: A Hybrid Approach for Accurate Natural Language Task Modeling [0.0]
本稿では,NLPタスクモデリングの精度を向上させるために,教師なし学習と教師なし学習を相乗化する新しいハイブリッド手法を提案する。提案手法は,未ラベルコーパスから表現を学習する教師なしモジュールと,これらの表現を活用してタスク固有モデルを強化する教師付きモジュールを統合する。手法の相乗化により、我々のハイブリッドアプローチはベンチマークデータセット上でSOTAの結果を達成し、よりデータ効率が高くロバストなNLPシステムを実現する。
論文参考訳（メタデータ） (2024-06-03T08:31:35Z)
DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
論文参考訳（メタデータ） (2024-05-22T15:52:52Z)
Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
論文参考訳（メタデータ） (2024-02-23T21:28:59Z)
Iterative Mask Filling: An Effective Text Augmentation Method Using Masked Language Modeling [0.0]
本稿では,変換器を用いたBERTモデルのフィル・マスク機能を利用した新しいテキスト拡張手法を提案する。本手法では,文中の単語を反復的にマスキングし,言語モデル予測に置き換える。実験の結果,提案手法は,特にトピック分類データセットにおいて,性能を著しく向上させることがわかった。
論文参考訳（メタデータ） (2024-01-03T16:47:13Z)
Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations [0.7874708385247353]
会話における感情認識(ERC)を実現するための2つのアプローチを組み合わせることを提案する。我々は,事前に訓練したRoBERTaに発話と以前の会話のターンを供給し,文脈的埋め込み発話表現を得る。広く使われているDailyDialog ERCベンチマークデータセットに対するアプローチを検証する。
論文参考訳（メタデータ） (2023-09-08T12:26:01Z)
Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文参考訳（メタデータ） (2023-06-25T02:39:19Z)
Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。単言語,多言語,言語横断の3種類の実験を行った。本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
論文参考訳（メタデータ） (2022-04-19T16:23:07Z)
Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
論文参考訳（メタデータ） (2021-11-04T04:39:02Z)
Visual Transformer for Task-aware Active Learning [49.903358393660724]
プールベースのアクティブラーニングのための新しいパイプラインを提案する。提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
論文参考訳（メタデータ） (2021-06-07T17:13:59Z)
SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
論文参考訳（メタデータ） (2020-11-20T08:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。