論文の概要: Does QA-based intermediate training help fine-tuning language models for text classification?

• arxiv url: http://arxiv.org/abs/2112.15051v1
• Date: Thu, 30 Dec 2021 13:30:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-01-04 01:19:14.774336
• Title: Does QA-based intermediate training help fine-tuning language models for text classification?
• Title（参考訳）: QAに基づく中間訓練は、テキスト分類のための微調整言語モデルに役立つか?
• Authors: Shiwei Zhang and Xiuzhen Zhang
• Abstract要約: 質問応答 (QA) のような高レベルな推論タスクに基づく中間訓練は, 対象タスクに対する言語モデルの性能を向上させることができる。 本稿では,2つの基本言語モデルと2つのコンパクト言語モデルを用いて,単一シーケンス分類のための8つのタスクとシーケンスペア分類のための8つのタスクについて実験を行った。 実験により、QAに基づく中間訓練は、類似のQAタスクを除いて、異なる言語モデル間で異なる転送性能を生成することが示された。
• 参考スコア（独自算出の注目度）: 12.023861154677203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning pre-trained language models for downstream tasks has become a norm for NLP. Recently it is found that intermediate training based on high-level inference tasks such as Question Answering (QA) can improve the performance of some language models for target tasks. However it is not clear if intermediate training generally benefits various language models. In this paper, using the SQuAD-2.0 QA task for intermediate training for target text classification tasks, we experimented on eight tasks for single-sequence classification and eight tasks for sequence-pair classification using two base and two compact language models. Our experiments show that QA-based intermediate training generates varying transfer performance across different language models, except for similar QA tasks.
• Abstract（参考訳）: 下流タスクのための微調整済み言語モデルがNLPの標準となっている。 近年,質問応答 (QA) のような高レベルな推論タスクに基づく中間訓練により,目標タスクに対する言語モデルの性能が向上することが確認された。 しかし、中間訓練が一般的に様々な言語モデルに効果があるかどうかは不明である。 本稿では、SQuAD-2.0QAタスクを目標テキスト分類タスクの中間訓練に使用し、単一シーケンス分類のための8つのタスクと、2つのベースと2つのコンパクト言語モデルを用いたシーケンスペア分類のための8つのタスクを実験した。 実験により、QAに基づく中間訓練は、類似のQAタスクを除いて、異なる言語モデル間で異なる転送性能を生成することが示された。

関連論文リスト

• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Generative Language Models for Paragraph-Level Question Generation [79.31199020420827]
  強力な生成モデルが質問生成(QG)の最近の進歩につながっている 標準化された資源が存在しないため,QG研究の進歩を測定することは困難である。 我々はQGのベンチマークであるQG-Benchを導入し、既存のQGデータセットを標準QG設定に変換することで、既存の質問応答データセットを統一する。
  論文  参考訳（メタデータ） (2022-10-08T10:24:39Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• A Hierarchical Model for Spoken Language Recognition [29.948719321162883]
  音声言語認識(SLR)とは、音声サンプルに含まれる言語を決定するための自動処理である。 本稿では,2つのPLDAモデルを訓練し,その1つは高関係言語クラスタのスコアを生成し,もう1つは各クラスタに条件付きスコアを生成するという新しい階層的アプローチを提案する。 この階層的アプローチは、高度に関連性の高い言語を検出する非階層的アプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-04T22:10:36Z)
• CLIN-X: pre-trained language models and a study on cross-task transfer for concept extraction in the clinical domain [22.846469609263416]
  事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。 本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。 本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
  論文  参考訳（メタデータ） (2021-12-16T10:07:39Z)
• Switch Point biased Self-Training: Re-purposing Pretrained Models for Code-Switching [44.034300203700234]
  コードスイッチングは、多言語コミュニティにおけるコミュニケーションの容易さから、ユビキタスな現象である。 スイッチポイントバイアスを用いて既存の事前学習モデルを再利用するための自己学習手法を提案する。 本手法は,スイッチポイント性能のギャップを小さくすることで,両タスクにおいて良好に機能する。
  論文  参考訳（メタデータ） (2021-11-01T19:42:08Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• English Intermediate-Task Training Improves Zero-Shot Cross-Lingual Transfer Too [42.95481834479966]
  中間タスクトレーニングは、モノリンガル英語設定における言語理解タスクにおけるモデルパフォーマンスを大幅に改善する。 XTREMEベンチマークのゼロショットクロスランガル設定における中間タスク転送の評価を行った。 対象タスク毎に最適な中間タスクモデルを用いて,XLM-R Largeよりも5.4ポイント改善した。
  論文  参考訳（メタデータ） (2020-05-26T20:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。