論文の概要: Plug-and-Play Knowledge Injection for Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2305.17691v2
• Date: Mon, 4 Dec 2023 08:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 23:18:10.377472
• Title: Plug-and-Play Knowledge Injection for Pre-trained Language Models
• Title（参考訳）: 事前学習言語モデルのためのプラグアンドプレイ知識注入
• Authors: Zhengyan Zhang, Zhiyuan Zeng, Yankai Lin, Huadong Wang, Deming Ye, Chaojun Xiao, Xu Han, Zhiyuan Liu, Peng Li, Maosong Sun, Jie Zhou
• Abstract要約: 外部知識を注入することで、様々な下流NLPタスクにおける事前学習言語モデル(PLM)の性能を向上させることができる。 下流タスクのための新しい知識注入方法や知識ベースを展開するには、大規模な再訓練が必要である。 既存の下流モデルを用いて知識注入の柔軟性と効率を改善する方法について検討する。
• 参考スコア（独自算出の注目度）: 116.37916535076478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Injecting external knowledge can improve the performance of pre-trained language models (PLMs) on various downstream NLP tasks. However, massive retraining is required to deploy new knowledge injection methods or knowledge bases for downstream tasks. In this work, we are the first to study how to improve the flexibility and efficiency of knowledge injection by reusing existing downstream models. To this end, we explore a new paradigm plug-and-play knowledge injection, where knowledge bases are injected into frozen existing downstream models by a knowledge plugin. Correspondingly, we propose a plug-and-play injection method map-tuning, which trains a mapping of knowledge embeddings to enrich model inputs with mapped embeddings while keeping model parameters frozen. Experimental results on three knowledge-driven NLP tasks show that existing injection methods are not suitable for the new paradigm, while map-tuning effectively improves the performance of downstream models. Moreover, we show that a frozen downstream model can be well adapted to different domains with different mapping networks of domain knowledge. Our code and models are available at https://github.com/THUNLP/Knowledge-Plugin.
• Abstract（参考訳）: 外部知識を注入することで、様々な下流NLPタスクにおける事前学習言語モデル(PLM)の性能を向上させることができる。 しかし、ダウンストリームタスクに新しい知識注入メソッドや知識ベースをデプロイするには、大規模な再トレーニングが必要となる。 本研究では,既存の下流モデルの再利用により,知識注入の柔軟性と効率性を向上する方法を初めて研究する。 この目的のために,我々は知識ベースを,知識プラグインによって凍結した既存の下流モデルに注入する,新たなパラダイムのプラグイン・アンド・プレイナレッジインジェクションを探求する。 そこで本研究では,知識埋め込みのマッピングを学習し,モデルパラメータを凍らせながらモデル入力を強調する,プラグ・アンド・プレイ・インジェクション方式のmap-tuningを提案する。 3つの知識駆動型NLPタスクの実験結果から,既存のインジェクション手法は新しいパラダイムには適さないが,マップチューニングは下流モデルの性能を効果的に向上することが示された。 さらに、凍結した下流モデルは、異なるドメイン知識のマッピングネットワークを持つ異なるドメインに適用可能であることを示す。 私たちのコードとモデルはhttps://github.com/THUNLP/Knowledge-Plugin.comで公開されています。

関連論文リスト

• NovaCOMET: Open Commonsense Foundation Models with Symbolic Knowledge Distillation [82.85412355714898]
  オープン・コモンセンス・ナレッジ・モデルであるNovaCOMETを,知識の最良の側面と一般的なタスク・モデルを組み合わせたオープン・コモンセンス・ナレッジ・モデルとして紹介する。 従来の知識モデルと比較して、NovaCOMETは推論タスクへの直接適用を可能にするオープンフォーマット関係を可能にする。 知識を明示的に重視し、コモンセンス推論の優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-10T19:45:24Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Adversarial Learning Networks: Source-free Unsupervised Domain Incremental Learning [0.0]
  非定常環境では、DNNモデルの更新にはパラメータの再トレーニングやモデル微調整が必要である。 DNN分類モデルを更新するための教師なしソースフリー手法を提案する。 既存の手法とは異なり,本手法では過去のトレーニングデータを格納することなく,非定常的なソースとターゲットタスクに対して段階的にDNNモデルを更新することができる。
  論文  参考訳（メタデータ） (2023-01-28T02:16:13Z)
• Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
  そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。 FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-01-15T03:00:27Z)
• DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding [19.478288026844893]
  知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。 従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。 本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
  論文  参考訳（メタデータ） (2021-12-02T08:19:42Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。