論文の概要: On the use of Silver Standard Data for Zero-shot Classification Tasks in Information Extraction

• arxiv url: http://arxiv.org/abs/2402.18061v2
• Date: Wed, 6 Mar 2024 08:42:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 17:12:38.426315
• Title: On the use of Silver Standard Data for Zero-shot Classification Tasks in Information Extraction
• Title（参考訳）: ゼロショット分類タスクにおける銀標準データを用いた情報抽出
• Authors: Jianwei Wang, Tianyin Wang, Ziqian Zeng
• Abstract要約: 本稿では,銀標準データを利用したゼロショット性能向上を目的とした新しいフレームワークであるClean-LaVeを提案する。 clean-LaVeは、(1)銀データを取得すること、(2)銀データから比較的きれいなデータを識別すること、(3)クリーンデータを用いて市販のモデルを微調整すること、(4)テストデータに対する推論である。
• 参考スコア（独自算出の注目度）: 7.009047478272052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The superior performance of supervised classification methods in the information extraction (IE) area heavily relies on a large amount of gold standard data. Recent zero-shot classification methods converted the task to other NLP tasks (e.g., textual entailment) and used off-the-shelf models of these NLP tasks to directly perform inference on the test data without using a large amount of IE annotation data. A potentially valuable by-product of these methods is the large-scale silver standard data, i.e., pseudo-labeled data by the off-the-shelf models of other NLP tasks. However, there is no further investigation into the use of these data. In this paper, we propose a new framework, Clean-LaVe, which aims to utilize silver standard data to enhance the zero-shot performance. Clean-LaVe includes four phases: (1) Obtaining silver data; (2) Identifying relatively clean data from silver data; (3) Finetuning the off-the-shelf model using clean data; (4) Inference on the test data. The experimental results show that Clean-LaVe can outperform the baseline by 5% and 6% on TACRED and Wiki80 dataset in the zero-shot relation classification task, and by 3%-7% on Smile (Korean and Polish) in the zero-shot cross-lingual relation classification task, and by 8% on ACE05-E+ in the zero-shot event argument classification task. The code is share in https://github.com/wjw136/Clean_LaVe.git.
• Abstract（参考訳）: 情報抽出(IE)領域における教師付き分類手法の優れた性能は、大量の金標準データに大きく依存している。 最近のゼロショット分類法では、タスクを他のNLPタスク(例えば、テキストのエンターメント)に変換し、これらのNLPタスクのオフザシェルフモデルを使用して、大量のIEアノテーションデータを使用することなく、テストデータに直接推論を行う。 これらの手法の潜在的に価値のある副産物は、大規模な銀標準データ、すなわち他のNLPタスクのオフザシェルフモデルによる擬似ラベル付きデータである。 しかし、これらのデータの使用に関するさらなる調査は行われていない。 本稿では,銀標準データを利用したゼロショット性能向上を目的とした新しいフレームワークであるClean-LaVeを提案する。 clean-LaVeは、(1)銀データを取得すること、(2)銀データから比較的きれいなデータを識別すること、(3)クリーンデータを用いて市販のモデルを微調整すること、(4)テストデータに対する推論である。 実験結果から,ゼロショット関係分類タスクではTACREDおよびWiki80データセットで5%,6%,ゼロショット間関係分類タスクではスマイル(韓国とポーランド)では3%-7%,ゼロショットイベント引数分類タスクではACE05-E+で8%,ベースラインでは6%を達成できた。 コードはhttps://github.com/wjw136/clean_lave.gitで共有される。

関連論文リスト

• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Selective In-Context Data Augmentation for Intent Detection using Pointwise V-Information [100.03188187735624]
  PLMとPVI(pointwise V-information)に基づく新しい手法を導入し,モデル学習におけるデータポイントの有用性を計測する。 提案手法はまず,学習データの小さなシード上でPLMを微調整し,与えられた意図に対応する発話を新たに生成する。 そこで本手法は,大規模言語モデルの表現力を活用し,多様な学習データを生成する。
  論文  参考訳（メタデータ） (2023-02-10T07:37:49Z)
• Learning with Silver Standard Data for Zero-shot Relation Extraction [6.236363393791241]
  まず,銀標準データから少量のクリーンデータを検出し,選択したクリーンデータを用いて事前学習したモデルを微調整する。 ゼロショットREタスクでは,TACREDおよびWiki80データセットでベースラインを12%,11%上回る性能が得られた。
  論文  参考訳（メタデータ） (2022-11-25T04:14:16Z)
• ZeroGen$^+$: Self-Guided High-Quality Data Generation in Efficient Zero-Shot Learning [97.2907428983142]
  ZeroGenは、純粋にPLMを使用してデータを生成し、タスク固有のアノテーションに頼ることなく、小さなモデルをトレーニングする。 金のデータを必要とせずに、サンプルごとの重み付けを学習できるノイズローバストなバイレベル再重み付けフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:38:48Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Using Self-Supervised Pretext Tasks for Active Learning [7.214674613451605]
  本稿では,自己教師付きプレテキストタスクとユニークなデータサンプリング機能を利用して,困難かつ代表的なデータを選択する,新しいアクティブラーニング手法を提案する。 プレテキストタスク学習者は、未ラベルのセットでトレーニングされ、未ラベルのデータは、そのプレテキストタスクの損失によって、バッチにソートされ、グループ化される。 各イテレーションでは、メインタスクモデルを使用して、アノテートされるバッチで最も不確実なデータをサンプリングする。
  論文  参考訳（メタデータ） (2022-01-19T07:58:06Z)
• How to distribute data across tasks for meta-learning? [59.608652082495624]
  タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。 この結果から,データ収集の簡便かつ効率的な手順が示唆された。
  論文  参考訳（メタデータ） (2021-03-15T15:38:47Z)
• Identifying Mislabeled Data using the Area Under the Margin Ranking [35.57623165270438]
  本稿では,ニューラルネットワークのトレーニングにおいて,そのようなサンプルを同定し,その影響を緩和する新しい手法を提案する。 単純なプロシージャ - 意図的にラベル付けされたしきい値サンプルが混在している余分なクラスを追加する - は、ラベル付けされたデータを分離するAUM上限を学習する。 WebVision50分類タスクでは、トレーニングデータの17%が削除され、テストエラーが1.6%(絶対)改善された。
  論文  参考訳（メタデータ） (2020-01-28T18:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。