論文の概要: Active PETs: Active Data Annotation Prioritisation for Few-Shot Claim
Verification with Pattern Exploiting Training
- arxiv url: http://arxiv.org/abs/2208.08749v1
- Date: Thu, 18 Aug 2022 10:11:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-19 13:06:10.252094
- Title: Active PETs: Active Data Annotation Prioritisation for Few-Shot Claim
Verification with Pattern Exploiting Training
- Title(参考訳): アクティブPET:パターン爆発訓練によるFew-Shotクレーム検証のためのアクティブデータアノテーション優先
- Authors: Xia Zeng, Arkaitz Zubiaga
- Abstract要約: アクティブPET(Active PETs)は、アノテーションの候補として非ラベルのデータを積極的に選択する重み付きアプローチである。
データ選択にActive PETを使用すると、最先端のアクティブな学習方法よりも一貫した改善が見られた。
提案手法により,ラベル付きデータの少ないインスタンスを効果的に選択することが可能となる。
- 参考スコア(独自算出の注目度): 21.842139093124512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To mitigate the impact of data scarcity on fact-checking systems, we focus on
few-shot claim verification. Despite recent work on few-shot classification by
proposing advanced language models, there is a dearth of research in data
annotation prioritisation that improves the selection of the few shots to be
labelled for optimal model performance. We propose Active PETs, a novel
weighted approach that utilises an ensemble of Pattern Exploiting Training
(PET) models based on various language models, to actively select unlabelled
data as candidates for annotation. Using Active PETs for data selection shows
consistent improvement over the state-of-the-art active learning method, on two
technical fact-checking datasets and using six different pretrained language
models. We show further improvement with Active PETs-o, which further
integrates an oversampling strategy. Our approach enables effective selection
of instances to be labelled where unlabelled data is abundant but resources for
labelling are limited, leading to consistently improved few-shot claim
verification performance. Our code will be available upon publication.
- Abstract(参考訳): ファクトチェックシステムにおけるデータ不足の影響を軽減するため,数発のクレーム検証に注目する。
近年、先進言語モデルの提案による数ショット分類の研究にもかかわらず、最適なモデル性能を示すためにラベル付けされる数少ないショットの選択を改善するデータアノテーション優先順位付けの研究が進められている。
本研究では,様々な言語モデルに基づくパターン活用トレーニング(pet)モデルのアンサンブルを用いて,アノテーション候補としてラベルなしデータを積極的に選択する,新しい重み付け手法であるactive petsを提案する。
データ選択にActive PETを使うことは、最先端のアクティブな学習方法、技術的事実チェックデータセットの2つ、トレーニング済みの6つの言語モデルの使用において、一貫した改善を示す。
オーバサンプリング戦略を統合したActive PETs-oのさらなる改良について述べる。
提案手法は,ラベル付きデータが多く,ラベル付けのためのリソースが限られている場合に,効果的にラベル付け可能なインスタンスの選択を可能にする。
私たちのコードは出版時に利用可能になります。
関連論文リスト
- Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳(メタデータ) (2023-11-29T05:33:28Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-12-20T19:29:37Z) - ALLWAS: Active Learning on Language models in WASserstein space [13.35098213857704]
医学などのいくつかの領域では、ラベル付きトレーニングデータの不足が一般的な問題である。
アクティブな学習は、ラベルの予算が限られている場合、パフォーマンスを高めるのに役立ちます。
言語モデルにおけるアクティブ学習のためのサブモジュール最適化と最適輸送に基づくサンプリング手法を用いた新しい手法を提案する。
論文 参考訳(メタデータ) (2021-09-03T18:11:07Z) - Bayesian Active Learning with Pretrained Language Models [9.161353418331245]
Active Learning (AL)は、ラベルなしデータのプールからアノテーションのためのデータを反復的に選択する手法である。
以前のALアプローチは、イテレーションごとにゼロからトレーニングされるタスク固有のモデルに制限されている。
BALM;Bayesian Active Learning with pretrained language modelを紹介します。
論文 参考訳(メタデータ) (2021-04-16T19:07:31Z) - Just Label What You Need: Fine-Grained Active Selection for Perception
and Prediction through Partially Labeled Scenes [78.23907801786827]
提案手法は,コストに配慮した手法と,部分的にラベル付けされたシーンを通じて詳細なサンプル選択を可能にする一般化を導入している。
実世界の大規模自動運転データセットに関する我々の実験は、微粒な選択が知覚、予測、下流計画タスクのパフォーマンスを向上させることを示唆している。
論文 参考訳(メタデータ) (2021-04-08T17:57:41Z) - Improving and Simplifying Pattern Exploiting Training [81.77863825517511]
Pattern Exploiting Training (PET)は、数発学習にパターンを利用する最近のアプローチである。
本稿では,未ラベルデータのないショットラーニングに焦点をあて,ADAPETを導入する。
ADAPETは、タスク固有のラベルなしデータなしでSuperGLUE上のPETより優れています。
論文 参考訳(メタデータ) (2021-03-22T15:52:45Z) - Active Testing: Sample-Efficient Model Evaluation [39.200332879659456]
サンプル効率のよいモデル評価のための新しいフレームワークであるactive testingを紹介する。
アクティブテストは、ラベルにテストポイントを慎重に選択することでこれに対処する。
我々は,推定器のばらつきを低減しつつ,バイアスの除去方法を示す。
論文 参考訳(メタデータ) (2021-03-09T10:20:49Z) - Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
両レベル最適化によるデータ要約問題として,本手法を定式化する。
本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
論文 参考訳(メタデータ) (2020-10-19T16:53:24Z) - Active and Incremental Learning with Weak Supervision [7.2288756536476635]
本研究では,逐次学習方式と能動学習方式の組み合わせについて述べる。
オブジェクト検出タスクは、PASCAL VOCデータセット上で連続的な探索コンテキストで評価される。
また,実世界の生物多様性アプリケーションにおいて,能動的・漸進的学習に基づく弱教師付きシステムを検証する。
論文 参考訳(メタデータ) (2020-01-20T13:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。