論文の概要: Making Pre-trained Language Models Better Continual Few-Shot Relation Extractors

• arxiv url: http://arxiv.org/abs/2402.15713v1
• Date: Sat, 24 Feb 2024 04:32:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 17:21:44.908303
• Title: Making Pre-trained Language Models Better Continual Few-Shot Relation Extractors
• Title（参考訳）: 事前学習型言語モデルによる連続的なFew-Shot関係エクストラクタの改良
• Authors: Shengkun Ma, Jiale Han, Yi Liang, Bo Cheng
• Abstract要約: 連射関係抽出(CFRE)は,新たな関係を連続的に学習するモデルを必要とする実践的問題である。 主な課題は、悲惨な忘れ物と過度に適合することである。 本稿では,事前学習した言語モデルの暗黙的能力を探るために,素早い学習を利用する。
• 参考スコア（独自算出の注目度）: 15.417833307088637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Few-shot Relation Extraction (CFRE) is a practical problem that requires the model to continuously learn novel relations while avoiding forgetting old ones with few labeled training data. The primary challenges are catastrophic forgetting and overfitting. This paper harnesses prompt learning to explore the implicit capabilities of pre-trained language models to address the above two challenges, thereby making language models better continual few-shot relation extractors. Specifically, we propose a Contrastive Prompt Learning framework, which designs prompt representation to acquire more generalized knowledge that can be easily adapted to old and new categories, and margin-based contrastive learning to focus more on hard samples, therefore alleviating catastrophic forgetting and overfitting issues. To further remedy overfitting in low-resource scenarios, we introduce an effective memory augmentation strategy that employs well-crafted prompts to guide ChatGPT in generating diverse samples. Extensive experiments demonstrate that our method outperforms state-of-the-art methods by a large margin and significantly mitigates catastrophic forgetting and overfitting in low-resource scenarios.
• Abstract（参考訳）: CFRE(Continuous Few-shot Relation extract)は、ラベル付きトレーニングデータが少ない古いものを忘れることなく、新しい関係を継続的に学習するモデルを必要とする実践的な問題である。 主な課題は、破滅的な忘れ方と過剰な失態である。 本稿では,事前学習した言語モデルの暗黙的能力を探るために,プロンプト・ラーニングを活用し,上記の2つの課題を解決する。 具体的には,古いカテゴリや新しいカテゴリに適応可能な一般化された知識を得るためのプロンプト表現をデザインし,よりハードサンプルに焦点を絞ったマージンベースのコントラスト学習を行うコントラスト学習フレームワークを提案する。 低リソースシナリオにおけるオーバーフィッティングのさらなる改善を目的として,多種多様なサンプルの生成においてChatGPTをガイドするプロンプトを用いた効果的なメモリ拡張戦略を提案する。 大規模な実験により,本手法は最先端手法よりも高い性能を示し,低リソースシナリオにおける破滅的な忘れ込みや過度適合を著しく軽減することがわかった。

関連論文リスト

• Merge to Learn: Efficiently Adding Skills to Language Models with Model Merging [102.16497861225358]
  汎用言語モデルを新しいスキルに適用することは、現在、高価なプロセスである。 既存のモデルに新たなスキルを付加する効果について,新たなスキルを単独で訓練し,その後一般モデルとマージすることによって検討した。
  論文  参考訳（メタデータ） (2024-10-16T18:23:50Z)
• Preserving Generalization of Language models in Few-shot Continual Relation Extraction [34.68364639170838]
  FCRE(Few-shot Continual Relations extract)は、新たな研究分野である。 本稿では,よく捨てられる言語モデルヘッドを活用する新しい手法を提案する。 提案手法の有効性を実証し,今後の研究に有用な知見を提供する。
  論文  参考訳（メタデータ） (2024-10-01T02:22:34Z)
• Towards Robust Pruning: An Adaptive Knowledge-Retention Pruning Strategy for Language Models [35.58379464827462]
  本稿では,高密度言語モデルの埋め込み空間と特徴空間を忠実に再現する訓練後プルーニング戦略を提案する。 他の最先端のベースラインと比較して、我々の手法は、SST2、IMDB、AGNewsのデータセット上でBERTによる精度、スパーシリティ、ロバスト性、およびプルーニングコストのバランスが優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-19T23:02:29Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
  改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。 我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。 提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
  論文  参考訳（メタデータ） (2022-11-05T17:19:14Z)
• Few-shot Text Classification with Dual Contrastive Consistency [31.141350717029358]
  本稿では,事前学習した言語モデルを用いて,数ショットのテキスト分類を行う方法について検討する。 ラベル付きデータが少ない場合の教師付きコントラスト学習と、ラベルなしデータの一貫性と規則化を採用する。
  論文  参考訳（メタデータ） (2022-09-29T19:26:23Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation [4.111899441919165]
  従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。 埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。 提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
  論文  参考訳（メタデータ） (2022-03-04T05:19:09Z)
• How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
  本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。 実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T05:04:41Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。