論文の概要: CEAR: Cross-Entity Aware Reranker for Knowledge Base Completion
- arxiv url: http://arxiv.org/abs/2104.08741v1
- Date: Sun, 18 Apr 2021 06:56:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:08:16.091726
- Title: CEAR: Cross-Entity Aware Reranker for Knowledge Base Completion
- Title(参考訳): CEAR:知識ベース補完のためのクロスエンティティAware Reranker
- Authors: Keshav Kolluru, Mayank Singh Chauhan, Yatin Nandwani, Parag Singla and
Mausam
- Abstract要約: BERTは実世界の知識を保存している。
知識ベース補完(KBC)のタスクにBERTを使用する以前の試みは、埋め込みベースの技術よりもパフォーマンスが悪くなった。
BERTを使用して既存のKBCモデルの出力を再ランクする新しいモデルであるCross-Entity Aware Reranker(CEAR)を開発しています。
- 参考スコア(独自算出の注目度): 19.78530921375531
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained language models (LMs) like BERT have shown to store factual
knowledge about the world. This knowledge can be used to augment the
information present in Knowledge Bases, which tend to be incomplete. However,
prior attempts at using BERT for task of Knowledge Base Completion (KBC)
resulted in performance worse than embedding based techniques that rely only on
the graph structure. In this work we develop a novel model, Cross-Entity Aware
Reranker (CEAR), that uses BERT to re-rank the output of existing KBC models
with cross-entity attention. Unlike prior work that scores each entity
independently, CEAR uses BERT to score the entities together, which is
effective for exploiting its factual knowledge. CEAR establishes a new state of
the art performance with 42.6 HITS@1 in FB15k-237 (32.7% relative improvement)
and 5.3 pt improvement in HITS@1 for Open Link Prediction.
- Abstract(参考訳): BERTのような事前訓練された言語モデル(LM)は、世界に関する現実的な知識を格納することを示した。
この知識は、不完全である傾向がある知識ベースに存在する情報を強化するのに使うことができる。
しかし、知識ベースコンプリート(KBC)タスクにBERTを使用する以前の試みは、グラフ構造のみに依存する埋め込みベースのテクニックよりもパフォーマンスが悪くなった。
本研究では,BERT を用いて既存の KBC モデルの出力を再ランクする新しいモデルである Cross-Entity Aware Reranker (CEAR) を開発する。
個々のエンティティを独立してスコアする以前の作業とは異なり、CEARはBERTを使用してエンティティをスコアリングする。
CEARは、FB15k-237の42.6 HITS@1(32.7%の相対的な改善)とオープンリンク予測のHITS@1の5.3 ptの改善により、新しい技術性能を確立している。
関連論文リスト
- Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise
Attention and Gaussian Mixture Model [33.446533426654995]
我々は、BERTベースのCSCモデルを強化するために、異種知識注入フレームワークを設計する。
複数層表現を生成するために,n-gram-based layerwise self-attention の新たな形式を提案する。
実験の結果,提案手法は4つの強力なベースラインモデルに対して安定な性能向上をもたらすことがわかった。
論文 参考訳(メタデータ) (2023-12-27T16:11:07Z) - Knowledge Base Completion Meets Transfer Learning [43.89253223499761]
知識ベース補完の目的は、知識ベースにおける既存の事実から目に見えない事実を予測することである。
本稿では,ある事実の集合から別の事実への知識の伝達において,エンティティや関係マッチングを必要とせずに最初のアプローチを導入する。
論文 参考訳(メタデータ) (2021-08-30T09:13:29Z) - Using Prior Knowledge to Guide BERT's Attention in Semantic Textual
Matching Tasks [13.922700041632302]
深層トランスフォーマーモデル(Bidirectional Representations from Transformers (BERT))に先行知識を組み込む問題について検討する。
BERTがもっとも必要とするタスク固有の知識と、それが最も必要である場所をよりよく理解する。
実験により,提案した知識を付加したBERTが意味的テキストマッチング性能を一貫して改善できることが実証された。
論文 参考訳(メタデータ) (2021-02-22T12:07:16Z) - CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。
CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。
知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文 参考訳(メタデータ) (2020-10-01T11:39:32Z) - On Commonsense Cues in BERT for Solving Commonsense Tasks [22.57431778325224]
BERTはCommonsenseQAなどのCommonsenseタスクの解決に使用されている。
本研究では,BERTにおけるコモンセンスタスクの解決における構造的コモンセンスキューの存在と,モデル予測におけるそのようなキューの重要性を定量的に検討する。
論文 参考訳(メタデータ) (2020-08-10T08:12:34Z) - ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。
そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。
新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
論文 参考訳(メタデータ) (2020-08-06T07:43:19Z) - Common Sense or World Knowledge? Investigating Adapter-Based Knowledge
Injection into Pretrained Transformers [54.417299589288184]
本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。
我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
論文 参考訳(メタデータ) (2020-05-24T15:49:57Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z) - Investigating Entity Knowledge in BERT with Simple Neural End-To-End
Entity Linking [8.265860641797996]
我々は、驚くほどうまく機能するエンティティリンク設定を極端に単純化することを提案する。
本研究では,このモデルにより,平易なBERT上でのエンティティ表現が向上することを示す。
また,テキスト理解型ベンチマークGLUEにおけるエンティティ認識トークン表現の有用性についても検討した。
論文 参考訳(メタデータ) (2020-03-11T18:23:00Z) - Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。
本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
論文 参考訳(メタデータ) (2020-02-24T16:17:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。