論文の概要: Low-Resource Multi-Granularity Academic Function Recognition Based on Multiple Prompt Knowledge

• arxiv url: http://arxiv.org/abs/2305.03287v2
• Date: Mon, 24 Jun 2024 17:00:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 05:18:24.624109
• Title: Low-Resource Multi-Granularity Academic Function Recognition Based on Multiple Prompt Knowledge
• Title（参考訳）: マルチプロンプト知識に基づく低リソースマルチグラニュラリティアカデミック関数認識
• Authors: Jiawei Liu, Zi Xiong, Yi Jiang, Yongqiang Ma, Wei Lu, Yong Huang, Qikai Cheng,
• Abstract要約: 微調整事前学習言語モデル(PLM)、例えばSciBERTは、最先端のパフォーマンスを達成するために大量の注釈付きデータを必要とする。 注釈付きデータへの依存を緩和する半教師付き手法であるMix Prompt Tuning (MPT)を提案する。
• 参考スコア（独自算出の注目度）: 12.796103993459713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pre-trained language models (PLMs), e.g., SciBERT, generally requires large numbers of annotated data to achieve state-of-the-art performance on a range of NLP tasks in the scientific domain. However, obtaining the fine-tune data for scientific NLP task is still challenging and expensive. Inspired by recent advancement in prompt learning, in this paper, we propose the Mix Prompt Tuning (MPT), which is a semi-supervised method to alleviate the dependence on annotated data and improve the performance of multi-granularity academic function recognition tasks with a small number of labeled examples. Specifically, the proposed method provides multi-perspective representations by combining manual prompt templates with automatically learned continuous prompt templates to help the given academic function recognition task take full advantage of knowledge in PLMs. Based on these prompt templates and the fine-tuned PLM, a large number of pseudo labels are assigned to the unlabeled examples. Finally, we fine-tune the PLM using the pseudo training set. We evaluate our method on three academic function recognition tasks of different granularity including the citation function, the abstract sentence function, and the keyword function, with datasets from computer science domain and biomedical domain. Extensive experiments demonstrate the effectiveness of our method and statistically significant improvements against strong baselines. In particular, it achieves an average increase of 5% in Macro-F1 score compared with fine-tuning, and 6% in Macro-F1 score compared with other semi-supervised method under low-resource settings. In addition, MPT is a general method that can be easily applied to other low-resource scientific classification tasks.
• Abstract（参考訳）: 微調整事前学習言語モデル(PLM)、例えばSciBERTは、科学領域における様々なNLPタスクにおける最先端のパフォーマンスを達成するために、多くの注釈付きデータを必要とする。 しかし、科学的NLPタスクのための微調整データを取得することは依然として困難でコストがかかる。 本稿では,近年の素早い学習の進歩に触発されて,注釈付きデータへの依存を緩和し,少数のラベル付き例で多粒度学術関数認識タスクの性能を向上させる半教師付き手法であるMix Prompt Tuning(MPT)を提案する。 具体的には,手動のプロンプトテンプレートと自動学習された連続的なプロンプトテンプレートを組み合わせることで,PLMの知識を十分に活用する。 これらのプロンプトテンプレートと微調整されたPLMに基づいて、ラベルのない例に多数の擬似ラベルが割り当てられる。 最後に、擬似トレーニングセットを用いてPLMを微調整する。 本手法は,計算機科学領域と生物医学領域のデータセットを用いて,引用関数,要約文関数,キーワード関数など,粒度の異なる3つの学術的機能認識タスクについて評価する。 大規模な実験により,本手法の有効性と,強いベースラインに対する統計的に有意な改善が示された。 特に、マクロF1のスコアは微調整に比べて平均5%増加し、マクロF1のスコアは6%アップする。 加えて、MPTは他の低リソースの科学的分類タスクにも容易に適用できる一般的な方法である。

関連論文リスト

• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• PL-FSCIL: Harnessing the Power of Prompts for Few-Shot Class-Incremental Learning [9.799028474193609]
  FSCIL(Few-Shot Class-Incremental Learning)は、ディープニューラルネットワークが少数のラベル付きサンプルから段階的に新しいタスクを学習できるようにすることを目的としている。 FSCIL(PL-FSCIL)のためのPrompt Learningと呼ばれる新しいアプローチを提案する。 PL-FSCILは、FSCILの課題に効果的に取り組むために、事前訓練されたビジョントランスフォーマー(ViT)モデルと共にプロンプトのパワーを利用する。
  論文  参考訳（メタデータ） (2024-01-26T12:11:04Z)
• MeanAP-Guided Reinforced Active Learning for Object Detection [34.19741444116433]
  本稿では,オブジェクト検出のためのMeanAP誘導強化能動学習について紹介する。 LSTMアーキテクチャに基づいて構築されたエージェントは、その後のトレーニングインスタンスを効率的に探索し、選択する。 我々は、一般的なベンチマーク、PASCAL VOC、MS COCOにおけるMAGRALの有効性を評価した。
  論文  参考訳（メタデータ） (2023-10-12T14:59:22Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Few-Shot NLP [68.43279384561352]
  既存のデータ拡張アルゴリズムはタスク非依存のルールや微調整の汎用事前訓練言語モデルを利用する。 これらの手法は、簡単なタスク固有の知識を持ち、単純なタスクにおいて弱いベースラインのための低品質な合成データを得るに限られる。 我々は,様々なNLPタスクを予め学習したエンコーダ/デコーダLMの知識混合データ拡張モデル(KnowDA)を提案する。
  論文  参考訳（メタデータ） (2022-06-21T11:34:02Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Clinical Prompt Learning with Frozen Language Models [4.077071350659386]
  大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。 臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。 結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
  論文  参考訳（メタデータ） (2022-05-11T14:25:13Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。