Fugu-MT 論文翻訳(概要): Pre-trained Language Model Based Active Learning for Sentence Matching

論文の概要: Pre-trained Language Model Based Active Learning for Sentence Matching

arxiv url: http://arxiv.org/abs/2010.05522v1
Date: Mon, 12 Oct 2020 08:24:36 GMT
ステータス: 処理完了
システム内更新日: 2022-10-08 06:41:51.390590
Title: Pre-trained Language Model Based Active Learning for Sentence Matching
Title（参考訳）: 文マッチングのための事前学習言語モデルに基づく能動的学習
Authors: Guirong Bai, Shizhu He, Kang Liu, Jun Zhao, Zaiqing Nie
Abstract要約: 文マッチングのための事前学習型言語モデルに基づく能動的学習手法を提案する。我々のアプローチは、ラベル付きトレーニングインスタンスを少なくすることで、より精度の高いものを実現できます。
参考スコア（独自算出の注目度）: 18.48335957524662
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Active learning is able to significantly reduce the annotation cost for data-driven techniques. However, previous active learning approaches for natural language processing mainly depend on the entropy-based uncertainty criterion, and ignore the characteristics of natural language. In this paper, we propose a pre-trained language model based active learning approach for sentence matching. Differing from previous active learning, it can provide linguistic criteria to measure instances and help select more efficient instances for annotation. Experiments demonstrate our approach can achieve greater accuracy with fewer labeled training instances.
Abstract（参考訳）: アクティブラーニングは、データ駆動手法のアノテーションコストを大幅に削減することができる。しかし、従来の自然言語処理のアクティブな学習手法は主にエントロピーに基づく不確実性基準に依存し、自然言語の特徴を無視する。本稿では,文マッチングのための事前学習型言語モデルに基づくアクティブラーニング手法を提案する。従来のアクティブラーニングとは違い、インスタンスを測定するための言語基準を提供し、アノテーションのより効率的なインスタンスを選択するのに役立つ。実験により,ラベル付きトレーニングインスタンスを少なくすることで,高い精度を実現することができた。

関連論文リスト

Self-Training for Sample-Efficient Active Learning for Text Classification with Pre-Trained Language Models [3.546617486894182]
我々は,4つのテキスト分類ベンチマークで評価した,新しい効果的な自己学習戦略であるHASTを紹介する。その結果、4つのデータセットのうち3つに対して、再現された自己学習手法よりも優れており、以前の実験に匹敵する分類結果が得られることがわかった。
論文参考訳（メタデータ） (2024-06-13T15:06:11Z)
Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
Improving Temporal Generalization of Pre-trained Language Models with Lexical Semantic Change [28.106524698188675]
近年の研究では、大規模なニューラルネットワークモデルが時間的一般化能力の低下に悩まされていることが明らかになっている。本稿では,収束した言語モデルを学習後処理するための,単純かつ効果的な語彙レベルのマスキング手法を提案する。
論文参考訳（メタデータ） (2022-10-31T08:12:41Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
論文参考訳（メタデータ） (2021-11-11T16:57:53Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
Pre-Training a Language Model Without Human Language [74.11825654535895]
先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
論文参考訳（メタデータ） (2020-12-22T13:38:06Z)
Cold-start Active Learning through Self-supervised Language Modeling [15.551710499866239]
アクティブラーニングは、ラベルに最も重要な例を選択することで、アノテーションのコストを削減することを目的としている。 BERTでは、マスク付き言語モデリング損失に基づく単純な戦略を開発する。他のベースラインと比較して,本手法はより少ないサンプリングイテレーションと時間で精度が高い。
論文参考訳（メタデータ） (2020-10-19T14:09:17Z)
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。