論文の概要: Neural Knowledge Bank for Pretrained Transformers

• arxiv url: http://arxiv.org/abs/2208.00399v1
• Date: Sun, 31 Jul 2022 09:14:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 12:55:26.244301
• Title: Neural Knowledge Bank for Pretrained Transformers
• Title（参考訳）: 予習変圧器の神経知識バンク
• Authors: Damai Dai, Wenbin Jiang, Qingxiu Dong, Yajuan Lyu, Qiaoqiao She, Zhifang Sui
• Abstract要約: 本稿では,事前学習したトランスフォーマーに対して,現実的な知識を蓄積する神経知識銀行を提案する。 知識注入中、元のモデルを修正し、拡張メモリスロットに事実知識を注入する。 3つのクローズドブックの質問応答データセットを使用して、余分な事実知識を格納する強力な能力を示しています。
• 参考スコア（独自算出の注目度）: 20.416700112895974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability of pretrained Transformers to remember factual knowledge is essential for knowledge-intense downstream tasks such as closed-book question answering. Existing work has shown that pretrained Transformers can recall or leverage factual knowledge that appears in the pretraining corpus to some degree. However, due to the limit of the model capacity, the ability of pretrained models to remember factual knowledge is also limited. Dai et al. (2022) find that the Feed-Forward Networks (FFNs) in pretrained Transformers store factual knowledge in a memory-like manner. Inspired by this finding, we propose a Neural Knowledge Bank (NKB) to store extra factual knowledge for pretrained Transformers. To be specific, we also regard FFNs as key-value memories, and extend them with additional memory slots. During knowledge injection, we fix the original model and inject factual knowledge into the extended memory slots, so there will be no catastrophic forgetting for the pretrained model. In addition, the view of FFNs as key-value memories makes the NKB highly interpretable. We use three closed-book question answering datasets to show our strong ability to store extra factual knowledge. Also, we prove that the NKB will not degrade the general language generation ability of pretrained models through two representative generation tasks, summarization and machine translation. Further, we thoroughly analyze the NKB to reveal its working mechanism and present the meaning of its keys and values in a human-readable way. On top of it, we perform a preliminary attempt to directly update the factual knowledge in the NKB without any additional training.
• Abstract（参考訳）: 事前学習されたトランスフォーマーの知識を記憶する能力は、クローズドブック質問応答のような知識インテンス下流タスクには不可欠である。 既存の研究によると、事前訓練されたトランスフォーマーは、事前訓練されたコーパスに現れる事実の知識をある程度リコールまたは活用することができる。 しかし、モデル能力の限界により、事前訓練されたモデルが事実知識を記憶する能力も制限されている。 Dai et al. (2022) は、事前訓練されたトランスフォーマーのフィードフォワードネットワーク (FFN) が、メモリライクな方法で事実知識を格納していることを発見した。 この発見にインスパイアされた我々は、事前訓練されたトランスフォーマーに余分な事実知識を格納する神経知識銀行(NKB)を提案する。 具体的には、FFNをキー値メモリとみなし、追加のメモリスロットで拡張する。 知識注入の間、私たちは元のモデルを修正し、拡張メモリスロットに事実知識を注入します。 さらに、FFNをキー値記憶として見ることで、NKBは高度に解釈可能である。 3つのクローズドブックの質問応答データセットを使用して、余分な事実知識を格納する強力な能力を示しています。 また,NKBは,要約と機械翻訳の2つの代表的タスクを通じて,事前学習されたモデルの汎用言語生成能力を低下させないことを示す。 さらに, nkbを徹底的に解析し, その動作機構を明らかにし, そのキーと値の意味を人間が読みやすい方法で提示する。 さらに,NKBにおける事実知識を直接更新する予備的な試みを,追加のトレーニングを必要とせずに実施する。

関連論文リスト

• Large Scale Knowledge Washing [24.533316191149677]
  大規模な言語モデルは、世界の知識を記憶する素晴らしい能力を示している。 本稿では,大規模な知識洗浄の問題を紹介し,膨大な事実知識の学習に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-26T23:29:49Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
  そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。 FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-01-15T03:00:27Z)
• Knowledge Neurons in Pretrained Transformers [45.24499368763417]
  本稿では,事前に訓練されたトランスフォーマーに暗黙の知識を格納する方法を検討する。 本稿では,その事実を表すニューロンを同定する知識属性法を提案する。 これらの知識ニューロンの活性化は,それらの事実の発現と高い相関性を示す。
  論文  参考訳（メタデータ） (2021-04-18T03:38:26Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)
• Modifying Memories in Transformer Models [71.48657481835767]
  本稿では,トランスフォーマーモデルにおいて,特定の事実知識を巧みに修正するタスクを提案する。 このタスクは、古い知識の更新、プライバシ保護、モデルに格納されている意図しないバイアスの排除など、多くのシナリオで有用である。
  論文  参考訳（メタデータ） (2020-12-01T09:39:13Z)
• Knowledge-Aware Language Model Pretraining [29.56904859722379]
  トランスフォーマーアーキテクチャを変更することなく、言語モデルの事前学習に知識認識を取り入れる。 LAMA知識探索タスクにおける言語モデリング精度の向上,事実的正当性,エッジ探索による隠れ表現の意味性について検討した。 我々の知識認識言語モデル(KALM)は、GPT-2モデルの代替となる。
  論文  参考訳（メタデータ） (2020-06-29T06:09:59Z)
• Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers [54.417299589288184]
  本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。 我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
  論文  参考訳（メタデータ） (2020-05-24T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。