論文の概要: A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2202.13392v1
• Date: Sun, 27 Feb 2022 16:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 15:36:05.138427
• Title: A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models
• Title（参考訳）: 事前学習型言語モデルのための簡易で効果的なプラガブルなエンティティルックアップテーブル
• Authors: Deming Ye, Yankai Lin, Peng Li, Maosong Sun, Zhiyuan Liu
• Abstract要約: 本稿では,シンプルで効果的なPugable Entity Lookup Table (PELT) をオンデマンドで構築することを提案する。 PELTは、事前訓練された言語モデルにエンティティ補足的知識を注入するための入力として、相互に接続することができる。 知識関連タスクの実験により,私たちの手法であるPELTが,関連コーパスからのエンティティ知識をPLMに柔軟かつ効果的に伝達できることが実証された。
• 参考スコア（独自算出の注目度）: 93.39977756450354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (PLMs) cannot well recall rich factual knowledge of entities exhibited in large-scale corpora, especially those rare entities. In this paper, we propose to build a simple but effective Pluggable Entity Lookup Table (PELT) on demand by aggregating the entity's output representations of multiple occurrences in the corpora. PELT can be compatibly plugged as inputs to infuse supplemental entity knowledge into PLMs. Compared to previous knowledge-enhanced PLMs, PELT only requires 0.2%-5% pre-computation with capability of acquiring knowledge from out-of-domain corpora for domain adaptation scenario. The experiments on knowledge-related tasks demonstrate that our method, PELT, can flexibly and effectively transfer entity knowledge from related corpora into PLMs with different architectures.
• Abstract（参考訳）: 事前学習された言語モデル(plm)は、大規模コーパス、特に稀なエンティティに現れるエンティティの豊富な事実知識を十分に思い出せない。 本稿では, コーパス内の複数事象の出力表現を集約することにより, 需要に応じて, 単純かつ効果的なプラガブルエンティティルックアップテーブル(PELT)を構築することを提案する。 PELTは、補足的なエンティティ知識をPLMに注入する入力として、相互に接続することができる。 従来の知識強化PLMと比較して、PELTはドメイン適応シナリオのためにドメイン外コーパスから知識を取得する能力を持つ事前計算を0.2%-5%しか必要としない。 知識関連タスクの実験により, PELTは, 関連コーパスからのエンティティ知識を, 異なるアーキテクチャを持つPLMに柔軟かつ効果的に伝達できることを示した。

関連論文リスト

• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
  本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。 我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。 我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-17T13:04:35Z)
• Unlocking the Power of Large Language Models for Entity Alignment [30.742269667969087]
  ChatEAは、大規模な言語モデル(LLM)を取り入れてEAを改善する革新的なフレームワークである。 限られた入力KGデータの制約に対処するため、ChatEAはKGコード翻訳モジュールを導入した。 エンティティの埋め込み比較の過度な信頼性を克服するため、ChatEAは2段階のEA戦略を実装している。
  論文  参考訳（メタデータ） (2024-02-23T01:55:35Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、より多くの洞察を提供するさまざまなメトリクスの使用を可能にします。 本稿では,言語モデル(LM)のパワーを活用し,効率と効率を向上させる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Two Heads Are Better Than One: Integrating Knowledge from Knowledge Graphs and Large Language Models for Entity Alignment [31.70064035432789]
  LLMEA(Large Language Model-enhanced Entity Alignment Framework)を提案する。 LLMEAは、知識グラフにまたがるエンティティ間の類似性を埋め込んだり、仮想の等価エンティティとの距離を編集することで、特定のエンティティの候補アライメントを識別する。 3つの公開データセットで実施された実験により、LLMEAが主要なベースラインモデルを上回ることが判明した。
  論文  参考訳（メタデータ） (2024-01-30T12:41:04Z)
• Concept-aware Training Improves In-context Learning Ability of Language Models [0.0]
  トランスフォーマーファミリーの最近の言語モデル(LM)の多くは、いわゆるインコンテキスト学習(ICL)能力を示している。 テキスト内情報をよりよく活用できるLMを作成する手法を提案する。 概念認識トレーニングのデータサンプリングはモデルの推論能力を継続的に改善する。
  論文  参考訳（メタデータ） (2023-05-23T07:44:52Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• Open Relation Modeling: Learning to Define Relations between Entities [24.04238065663009]
  本稿では,機械にエンティティの定義から学習させることで,定義のような関係記述を生成することを提案する。 具体的には、抽出されたエンティティペアに条件付き定義を生成するために、PLM(Pre-Tuneed Language Models)を微調整する。 我々は, PLM が信頼度推定によって解釈可能かつ情報的推論経路を選択できることを示し, 選択した経路が PLM を誘導し, より優れた関係記述を生成することを示す。
  論文  参考訳（メタデータ） (2021-08-20T16:03:23Z)
• Knowledge Inheritance for Pre-trained Language Models [57.51305807391381]
  我々は「知識継承(KI)」という新しい事前学習フレームワークを導入する。 KIは、自己学習と教師指導の両方を組み合わせて、より大きなPLMを効率的に訓練する。 KIは生涯学習と知識伝達を十分に支援できることを示す。
  論文  参考訳（メタデータ） (2021-05-28T14:43:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。