論文の概要: Few-shot learning approaches for classifying low resource domain
specific software requirements
- arxiv url: http://arxiv.org/abs/2302.06951v1
- Date: Tue, 14 Feb 2023 10:19:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 15:45:07.927928
- Title: Few-shot learning approaches for classifying low resource domain
specific software requirements
- Title(参考訳): 低リソース領域固有のソフトウェア要件を分類するための数ショット学習アプローチ
- Authors: Anmol Nayak, Hari Prasad Timmapathini, Vidhya Murali, Atul Anil Gohad
- Abstract要約: 少ないショットラーニング(Few-shot learning)は、いくつかの注釈付きサンプルを使用するディープラーニングの一種である。
我々の実験は、BOSCH自動車ドメインテキストソフトウェア要件を3つのカテゴリに分類することに焦点を当てた。
SciBERTとDeBERTaベースのモデルは15のトレーニングサンプルが最も正確である傾向にあるが、注記サンプルの数がシームズやT5ベースのモデルと比較して50に増加するにつれて、その性能向上は最小限に抑えられる。
- 参考スコア(独自算出の注目度): 1.1470070927586016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the advent of strong pre-trained natural language processing models like
BERT, DeBERTa, MiniLM, T5, the data requirement for industries to fine-tune
these models to their niche use cases has drastically reduced (typically to a
few hundred annotated samples for achieving a reasonable performance). However,
the availability of even a few hundred annotated samples may not always be
guaranteed in low resource domains like automotive, which often limits the
usage of such deep learning models in an industrial setting. In this paper we
aim to address the challenge of fine-tuning such pre-trained models with only a
few annotated samples, also known as Few-shot learning. Our experiments focus
on evaluating the performance of a diverse set of algorithms and methodologies
to achieve the task of classifying BOSCH automotive domain textual software
requirements into 3 categories, while utilizing only 15 annotated samples per
category for fine-tuning. We find that while SciBERT and DeBERTa based models
tend to be the most accurate at 15 training samples, their performance
improvement scales minimally as the number of annotated samples is increased to
50 in comparison to Siamese and T5 based models.
- Abstract(参考訳): BERT、DeBERTa、MiniLM、T5といった、トレーニング済みの強力な自然言語処理モデルの出現により、業界がこれらのモデルをニッチなユースケースに微調整するために必要なデータ量は大幅に削減された(典型的には、合理的なパフォーマンスを達成するための数百の注釈付きサンプルに限る)。
しかし、数百の注釈付きサンプルでさえ、自動車のような低リソース領域では必ずしも保証されないため、産業環境ではこのようなディープラーニングモデルの使用が制限されることが多い。
本稿では,事前学習モデルにおいて,少数のアノテーション付きサンプルのみを用いて微調整するという課題に対処することを目的としている。
本実験は,ボッシュ自動車ドメインのテキスト要件を3つのカテゴリに分類し,カテゴリ毎に15の注釈付きサンプルのみを用いて微調整を行うための多種多様なアルゴリズムと方法論の性能評価に焦点をあてた。
SciBERT と DeBERTa をベースとしたモデルは15のトレーニングサンプルが最も正確である傾向にあるが,注記サンプルの数が Siamese と T5 ベースのモデルと比較して 50 に増加するにつれて,その性能向上は最小限に抑えられる。
関連論文リスト
- Fine-Tuning, Prompting, In-Context Learning and Instruction-Tuning: How
Many Labelled Samples Do We Need? [5.630038762653309]
本研究は, 優れた性能を実現するために, 特化モデルに必要なラベル付きサンプル数について検討する。
専門化されたモデルでは、一般的なモデルと同等かそれ以上のサンプル(100~1000ドル)しか必要としないことが多い。
同時に、必要なラベル付きデータの量は、タスクの複雑さと結果のばらつきに強く依存する。
論文 参考訳(メタデータ) (2024-02-20T08:38:24Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳(メタデータ) (2023-11-29T05:33:28Z) - Robust Fine-Tuning of Vision-Language Models for Domain Generalization [6.7181844004432385]
ファンデーションモデルは、分散シフトの下で、印象的なゼロショット推論能力とロバスト性を持っている。
一般的な視覚言語基盤モデルCLIPの微調整のための新しいレシピを提案する。
私たちの実験では、ゼロショットCLIPは、より複雑なベンチマークでトレーニング済みのビジョンモデルのパフォーマンスと一致しないが、少数ショットCLIPの微調整は、ビジョンのみのパフォーマンスよりも優れていることを示した。
論文 参考訳(メタデータ) (2023-11-03T20:50:40Z) - Active Self-Semi-Supervised Learning for Few Labeled Samples Fast
Training [3.4806267677524896]
半教師付き学習は、ほとんどアノテーションなしでのトレーニングで大きな成功を収めた。
ランダムサンプリングによって生成された低品質なラベル付きサンプルは、アノテーションの数を減らし続けるのが困難である。
擬似ラベルが優れた半教師付きモデルをブートストラップする,アクティブな自己半教師付きトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-09T07:45:05Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z) - Low-Shot Validation: Active Importance Sampling for Estimating
Classifier Performance on Rare Categories [47.050853657721596]
限定ラベル付きトレーニングデータでトレーニングされた機械学習モデルでは、全体のアノテーションコストを削減する上で、バリデーションが主要なボトルネックになる。
稀なカテゴリのバイナリ分類器のFスコアを正確に推定する統計的検証アルゴリズムを提案する。
特に、100個のラベルを用いて0.005の差でモデルF1のスコアを推定できる。
論文 参考訳(メタデータ) (2021-09-13T06:01:16Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - SE3M: A Model for Software Effort Estimation Using Pre-trained Embedding
Models [0.8287206589886881]
本稿では,事前学習した埋め込みモデルの有効性を評価する。
両方のアプローチでトレーニング済みのジェネリックモデルは、微調整プロセスを経ている。
テスト結果は非常に有望で、事前トレーニングされたモデルを使用して、要求テキストのみに基づいてソフトウェアの労力を見積もることができることに気付きました。
論文 参考訳(メタデータ) (2020-06-30T14:15:38Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20~30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳(メタデータ) (2020-06-27T08:13:58Z) - Deep k-NN for Noisy Labels [55.97221021252733]
予備モデルのロジット層上での単純な$k$-nearest近傍フィルタリング手法により、ラベルの誤りを除去し、最近提案された多くの手法よりも正確なモデルを生成することができることを示す。
論文 参考訳(メタデータ) (2020-04-26T05:15:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。