論文の概要: A Systematic Evaluation of Transfer Learning and Pseudo-labeling with
BERT-based Ranking Models
- arxiv url: http://arxiv.org/abs/2103.03335v1
- Date: Thu, 4 Mar 2021 21:08:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-08 14:48:34.004278
- Title: A Systematic Evaluation of Transfer Learning and Pseudo-labeling with
BERT-based Ranking Models
- Title（参考訳）: BERTに基づくランキングモデルを用いた転帰学習と擬似ラベルの体系的評価
- Authors: Iurii Mokrii, Leonid Boytsov, Pavel Braslavski
- Abstract要約: BERTに基づく5つの英語データセット間のニューラルランキングモデルの転送性を評価する。
各コレクションには膨大な数のクエリがあり、フルショット評価モードを可能にします。
擬似ラベルのトレーニングは、転送学習と比較して、競争力や優れたモデルを生み出すことができる。
- 参考スコア（独自算出の注目度）: 2.0498977512661267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to high annotation costs, making the best use of existing human-created
training data is an important research direction. We, therefore, carry out a
systematic evaluation of transferability of BERT-based neural ranking models
across five English datasets. Previous studies focused primarily on zero-shot
and few-shot transfer from a large dataset to a dataset with a small number of
queries. In contrast, each of our collections has a substantial number of
queries, which enables a full-shot evaluation mode and improves reliability of
our results. Furthermore, since source datasets licences often prohibit
commercial use, we compare transfer learning to training on pseudo-labels
generated by a BM25 scorer. We find that training on pseudo-labels -- possibly
with subsequent fine-tuning using a modest number of annotated queries -- can
produce a competitive or better model compared to transfer learning. However,
there is a need to improve the stability and/or effectiveness of the few-shot
training, which, in some cases, can degrade performance of a pretrained model.
- Abstract（参考訳）: アノテーションコストが高いため、既存の人為的トレーニングデータを最大限に活用することは重要な研究方向です。
そこで本研究では,5つの英語データセットにまたがるBERTに基づくニューラルランキングモデルの伝達性に関する体系的評価を行った。
これまでの研究では、大きなデータセットから少数のクエリを持つデータセットへのゼロショットと少数ショットの転送に重点を置いていた。
対照的に、各コレクションには膨大な数のクエリがあり、フルショット評価モードを可能にし、結果の信頼性を向上させます。
さらに、ソースデータセットのライセンスはしばしば商用利用を禁止しているため、転送学習とBM25スコアラーが生成した擬似ラベルのトレーニングを比較する。
擬似ラベルのトレーニング -- おそらくは、わずかな数の注釈付きクエリを使った微調整 -- は、トランスファーラーニングと比較して、競争力や優れたモデルを生み出すことができる。
しかし、数発訓練の安定性と/または有効性を改善する必要があるため、事前訓練されたモデルの性能を低下させることができる場合もある。
関連論文リスト
- Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳（メタデータ） (2024-04-14T05:02:00Z) - Improving Classification Performance With Human Feedback: Label a few,
we label the rest [2.7386128680964408]
本稿では,連続フィードバックループがモデルをどのように洗練し,精度,リコール,精度を向上させるかを理解することに焦点を当てる。
このアプローチをFinancial Phrasebank, Banking, Craigslist, Trec, Amazon Reviewsのデータセットでベンチマークし、ラベル付き例をいくつか挙げただけで、ゼロショットの大規模言語モデルの精度を上回ります。
論文 参考訳（メタデータ） (2024-01-17T19:13:05Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - On the Transferability of Learning Models for Semantic Segmentation for
Remote Sensing Data [12.500746892824338]
近年の深層学習に基づく手法は、リモートセンシング(RS)セマンティックセグメンテーション/分類タスクにおいて従来の学習方法より優れている。
しかし、ソースドメインでトレーニングされたモデルがターゲットドメインに容易に適用できる程度に、その転送可能性に関する包括的な分析は存在しない。
本稿では,従来のディープラーニングモデル(DL)とドメイン適応手法(DA)の有効性について検討する。
論文 参考訳（メタデータ） (2023-10-16T15:13:36Z) - SURF: Semi-supervised Reward Learning with Data Augmentation for
Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。
報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。
本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文 参考訳（メタデータ） (2022-03-18T16:50:38Z) - Self Training with Ensemble of Teacher Models [8.257085583227695]
堅牢なディープラーニングモデルのトレーニングには,大量のラベル付きデータが必要である。
このようなラベル付きデータの大規模なリポジトリがなければ、ラベルなしのデータも同様に利用することができる。
準スーパービジョン学習は、そのようなラベルのないデータを分類モデルの訓練に活用することを目的としている。
論文 参考訳（メタデータ） (2021-07-17T09:44:09Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - A Survey on Self-supervised Pre-training for Sequential Transfer
Learning in Neural Networks [1.1802674324027231]
移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。
本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
論文 参考訳（メタデータ） (2020-07-01T22:55:48Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z) - Learning from Imperfect Annotations [15.306536555936692]
現在、多くの機械学習システムは、大量の人間の注釈付きデータに基づいて訓練されている。
モデルトレーニングとアグリゲーションステップをマージすることを可能にする新しいエンドツーエンドフレームワークを提案する。
アノテーションを集約する現在の最先端アプローチに比べて、精度が最大25%向上していることを示す。
論文 参考訳（メタデータ） (2020-04-07T15:21:08Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。