論文の概要: KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding

• arxiv url: http://arxiv.org/abs/2104.08145v1
• Date: Fri, 9 Apr 2021 16:15:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 19:44:04.978364
• Title: KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding
• Title（参考訳）: KI-BERT:より良い言語とドメイン理解のための知識コンテキストの注入
• Authors: Keyur Faldu, Amit Sheth, Prashant Kikani, Hemang Akabari
• Abstract要約: 概念的および曖昧な実体に対する知識グラフから知識コンテキストをトランスフォーマーアーキテクチャに基づくモデルに注入する手法を提案する。 私たちの新しい技術プロジェクト知識グラフは、同質ベクトル空間に埋め込み、エンティティのための新しいトークンタイプ、エンティティの位置IDの整列、および選択的注意メカニズムを導入します。 私たちはBERTをベースラインモデルとし、ConceptNetとWordNetから知識コンテキストを注入して「KnowledgeInfused BERT」を実装します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contextualized entity representations learned by state-of-the-art deep learning models (BERT, GPT, T5, etc) leverage the attention mechanism to learn the data context. However, these models are still blind to leverage the knowledge context present in the knowledge graph. Knowledge context can be understood as semantics about entities, and their relationship with neighboring entities in knowledge graphs. We propose a novel and effective technique to infuse knowledge context from knowledge graphs for conceptual and ambiguous entities into models based on transformer architecture. Our novel technique project knowledge graph embedding in the homogeneous vector-space, introduces new token-types for entities, align entity position ids, and a selective attention mechanism. We take BERT as a baseline model and implement "KnowledgeInfused BERT" by infusing knowledge context from ConceptNet and WordNet, which significantly outperforms BERT over a wide range of NLP tasks over eight different GLUE datasets. KI-BERT-base model even outperforms BERT-large for domain-specific tasks like SciTail and academic subsets of QQP, QNLI, and MNLI.
• Abstract（参考訳）: 最先端のディープラーニングモデル(BERT、GPT、T5など)によって学習されたコンテキスト化されたエンティティ表現は、注意機構を利用してデータコンテキストを学習する。 しかし、これらのモデルは知識グラフに存在する知識コンテキストを活用するには依然として盲目である。 知識コンテキストは、エンティティに関する意味論や、知識グラフにおける近隣エンティティとの関係として理解することができる。 本稿では,知識コンテキストを概念的かつ曖昧なエンティティの知識グラフからトランスフォーマーアーキテクチャに基づくモデルに注入する手法を提案する。 提案手法は,同質なベクトル空間に埋め込まれたプロジェクト知識グラフ,エンティティのための新しいトークン型の導入,エンティティ位置IDの整合化,選択的アテンション機構である。 本研究では,BERTをベースラインモデルとし,コンセプションネットとWordNetから知識コンテキストを注入して"Knowledge Infused BERT"を実装する。 KI-BERTベースモデルは、SciTailのようなドメイン固有のタスクや、QQP、QNLI、MNLIの学術サブセットに対してBERT-largeよりも優れています。

関連論文リスト

• GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment via Neighborhood Partitioning and Generative Subgraph Encoding [39.67113788660731]
  グラフ対応LAnguage Models (GLaM) を開発するためのフレームワークを紹介する。 特定のグラフに基づく知識でモデルを構築することは、構造に基づく推論のためのモデルの能力を拡張することを実証する。
  論文  参考訳（メタデータ） (2024-02-09T19:53:29Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web [44.92858943475407]
  エンティティ中心のテキスト知識ソースを処理してエンティティ埋め込みを学ぶアプローチを提案する。 私たちのアプローチから学んだ埋め込みは、(i)高品質で、既知の知識グラフベースの埋め込みに匹敵し、それらをさらに改善するために使用することができます。
  論文  参考訳（メタデータ） (2021-03-29T20:52:14Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。