論文の概要: Learning to Adapt to Low-Resource Paraphrase Generation

• arxiv url: http://arxiv.org/abs/2412.17111v1
• Date: Sun, 22 Dec 2024 17:55:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:59:43.702428
• Title: Learning to Adapt to Low-Resource Paraphrase Generation
• Title（参考訳）: 低リソースパラフレーズ生成に適応する学習
• Authors: Zhigen Li, Yanmeng Wang, Rizhao Fan, Ye Wang, Jianfeng Li, Shaojun Wang,
• Abstract要約: パラフレーズ生成は長年にわたるNLPタスクであり、大きなコーパスの助けを借りて大きな成功を収めている。 パラフレーズモデルを別のドメインに転送することは、特にデータがスパースである場合、ドメインシフトの問題に直面する。 同時に、大規模事前学習言語モデル (PLM) を広く使用する場合、ラベル付きデータ不足のトレーニングにおいて、過度に適合する問題に直面している。 メタラーニングにより最適化されたPLMの効果的なアダプタであるLAPAを提案する。
• 参考スコア（独自算出の注目度）: 15.318954551770204
• License:
• Abstract: Paraphrase generation is a longstanding NLP task and achieves great success with the aid of large corpora. However, transferring a paraphrasing model to another domain encounters the problem of domain shifting especially when the data is sparse. At the same time, widely using large pre-trained language models (PLMs) faces the overfitting problem when training on scarce labeled data. To mitigate these two issues, we propose, LAPA, an effective adapter for PLMs optimized by meta-learning. LAPA has three-stage training on three types of related resources to solve this problem: 1. pre-training PLMs on unsupervised corpora, 2. inserting an adapter layer and meta-training on source domain labeled data, and 3. fine-tuning adapters on a small amount of target domain labeled data. This method enables paraphrase generation models to learn basic language knowledge first, then learn the paraphrasing task itself later, and finally adapt to the target task. Our experimental results demonstrate that LAPA achieves state-of-the-art in supervised, unsupervised, and low-resource settings on three benchmark datasets. With only 2\% of trainable parameters and 1\% labeled data of the target task, our approach can achieve a competitive performance with previous work.
• Abstract（参考訳）: パラフレーズ生成は長年にわたるNLPタスクであり、大きなコーパスの助けを借りて大きな成功を収めている。 しかし、パラフレーズモデルを別のドメインに転送することは、特にデータが疎い場合にドメインシフトの問題に遭遇する。 同時に、大規模事前学習言語モデル (PLM) を広く使用する場合、ラベル付きデータ不足のトレーニングにおいて、過度に適合する問題に直面している。 これら2つの問題を緩和するために,メタラーニングによって最適化されたPLMの効果的なアダプタであるLAPAを提案する。 LAPAはこの問題を解決するために3種類の関連リソースについて3段階のトレーニングを行っている。 1. 教師なしコーパスにおけるPLMの事前学習 2. アダプタ層を挿入し、ソースドメインラベル付きデータにメタトレーニングし、 3. 少量のターゲットドメインラベル付きデータに対する微調整アダプタ。 パラフレーズ生成モデルでは、まず基本言語知識を学習し、その後、パラフレーズ処理自体を学習し、最終的に目標タスクに適応することができる。 実験の結果,LAPAは3つのベンチマークデータセット上で,教師付き,教師なし,低リソース設定で最先端の処理を実現していることがわかった。 トレーニング可能なパラメータの 2 % と目標タスクの 1 % のラベル付きデータしか持たないため、我々の手法は以前の作業と競合する性能を達成できる。

関連論文リスト

• Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine [0.9576975587953563]
  トランスフォーマーニューラルネットワークに基づく事前学習言語モデル(PLM)は、通信科学における自動コンテンツ分析を改善する大きな機会を提供する。 これまでの3つの特徴は、NLP研究における英語モデルの優位性、必要な計算資源、微調整 PLM の訓練データ作成に必要な労力など、適用分野における手法の普及を妨げている。 我々は、われわれのアプローチを、コミュニケーション科学の現実的なユースケースで試し、主張や議論を自動的に検出し、ドイツによるウクライナへの武器の配達に関する議論におけるスタンスと合わせて検証する。
  論文  参考訳（メタデータ） (2023-12-28T11:39:08Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• Learning to Paraphrase Sentences to Different Complexity Levels [3.0273878903284275]
  文の単純化はNLPにおいて活発な研究課題であるが,その隣接する文の複雑化や同レベルのパラフレーズ化の課題はそうではない。 3つのタスクすべてでモデルをトレーニングするために、教師なしデータセットを2つ提示する。
  論文  参考訳（メタデータ） (2023-08-04T09:43:37Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Multi-Stage Pre-training for Low-Resource Domain Adaptation [24.689862495171408]
  現在のアプローチは、ダウンストリームタスクに微調整する前に、ドメイン内のテキストに事前訓練された言語モデル(LM)を直接適用する。 LMの語彙をドメイン固有の用語で拡張することは、さらなる利益をもたらすことを示す。 我々は、これらのアプローチをトレーニング済みのRoberta-large LMに漸進的に適用し、IT領域の3つのタスクでかなりのパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2020-10-12T17:57:00Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。