論文の概要: Improving Entity Linking by Modeling Latent Entity Type Information
- arxiv url: http://arxiv.org/abs/2001.01447v1
- Date: Mon, 6 Jan 2020 09:18:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 02:28:12.903056
- Title: Improving Entity Linking by Modeling Latent Entity Type Information
- Title(参考訳): 潜在エンティティ型情報のモデリングによるエンティティリンクの改善
- Authors: Shuang Chen, Jinpeng Wang, Feng Jiang, Chin-Yew Lin
- Abstract要約: 本稿では,事前学習したBERTに基づいて,潜在エンティティの型情報をエンティティ埋め込みに注入することを提案する。
さらに、BERTに基づくエンティティ類似度スコアを最先端モデルのローカルコンテキストモデルに統合し、潜在エンティティの型情報をよりよくキャプチャする。
我々のモデルは、標準ベンチマーク(AIDA-CoNLL)における最先端エンティティリンクモデルよりも大幅に優れている。
- 参考スコア(独自算出の注目度): 25.33342677359822
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing state of the art neural entity linking models employ attention-based
bag-of-words context model and pre-trained entity embeddings bootstrapped from
word embeddings to assess topic level context compatibility. However, the
latent entity type information in the immediate context of the mention is
neglected, which causes the models often link mentions to incorrect entities
with incorrect type. To tackle this problem, we propose to inject latent entity
type information into the entity embeddings based on pre-trained BERT. In
addition, we integrate a BERT-based entity similarity score into the local
context model of a state-of-the-art model to better capture latent entity type
information. Our model significantly outperforms the state-of-the-art entity
linking models on standard benchmark (AIDA-CoNLL). Detailed experiment analysis
demonstrates that our model corrects most of the type errors produced by the
direct baseline.
- Abstract(参考訳): 既存の最先端のニューラルエンティティリンクモデルでは、注目に基づく単語コンテキストモデルと、単語埋め込みからブートストラップされた事前学習されたエンティティ埋め込みを使用して、トピックレベルのコンテキスト互換性を評価する。
しかし、参照の直近のコンテキストにおける潜在エンティティ型情報は無視されるため、モデルはしばしば参照を誤ったエンティティと間違った型にリンクさせる。
この問題に対処するために,事前学習されたBERTに基づいて,潜在エンティティ型情報をエンティティ埋め込みに注入することを提案する。
さらに、BERTに基づくエンティティ類似度スコアを最先端モデルのローカルコンテキストモデルに統合し、潜在エンティティの型情報をよりよくキャプチャする。
我々のモデルは、標準ベンチマーク(AIDA-CoNLL)における最先端エンティティリンクモデルよりも大幅に優れています。
詳細な実験分析により,本モデルが直接ベースラインが生成する型エラーのほとんどを補正することを示した。
関連論文リスト
- Exploiting Contextual Target Attributes for Target Sentiment
Classification [53.30511968323911]
TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。
我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
論文 参考訳(メタデータ) (2023-12-21T11:45:28Z) - Polar Ducks and Where to Find Them: Enhancing Entity Linking with Duck
Typing and Polar Box Embeddings [11.164501311947124]
DUCKは、エンティティ表現の空間に構造情報を注入するアプローチである。
知識グラフ内の他のエンティティとの関連性に基づいてエンティティの型を定義する。
関係に対応するボックス内に配置することで,類似型のエンティティをクラスタリングするモデルを最適化する。
論文 参考訳(メタデータ) (2023-05-19T22:42:16Z) - Investigating Failures to Generalize for Coreference Resolution Models [93.95952368743919]
本稿では,現在のコア参照解決モデルの誤差が,データセット間での運用方法の相違にどの程度関連しているかを検討する。
具体的には、モデル性能をいくつかのタイプのコア参照に対応するカテゴリに分け、分解する。
このブレークダウンは、異なるコア参照タイプをまたいだ一般化能力において、最先端モデルがどのように異なるかを調べるのに役立ちます。
論文 参考訳(メタデータ) (2023-03-16T05:32:02Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Representing Knowledge by Spans: A Knowledge-Enhanced Model for
Information Extraction [7.077412533545456]
本稿では,エンティティとリレーションの両方の表現を同時に学習する事前学習モデルを提案する。
スパンをスパンモジュールで効率的に符号化することで、私たちのモデルはエンティティとそれらの関係を表現できますが、既存のモデルよりもパラメータが少なくなります。
論文 参考訳(メタデータ) (2022-08-20T07:32:25Z) - Does Your Model Classify Entities Reasonably? Diagnosing and Mitigating
Spurious Correlations in Entity Typing [29.820473012776283]
既存のエンティティ型付けモデルは、素早い相関の問題に直面している。
既存のモデルバイアスには、参照コンテキストバイアス、語彙オーバーラップバイアス、名前付きエンティティバイアス、代名詞バイアス、依存性バイアス、一般化バイアスの6種類がある。
オリジナルのトレーニングセットをバイアスなしのトレーニングセットで強化することで、モデルは文を完全に理解せざるを得なくなる。
論文 参考訳(メタデータ) (2022-05-25T10:34:22Z) - A Relational Model for One-Shot Classification [80.77724423309184]
インダクティブバイアスを組み込んだディープラーニングモデルは,広範なデータ拡張に頼ることなく,サンプル効率のよい学習にメリットをもたらすことを示す。
提案するワンショット分類モデルは,一対の入力を局所的および対的注意の形で関係マッチングする。
論文 参考訳(メタデータ) (2021-11-08T07:53:12Z) - Modeling Fine-Grained Entity Types with Box Embeddings [32.85605894725522]
きめ細かいエンティティタイプのラベルの階層を表現するために,ボックス埋め込みの能力を検討する。
我々は,このアプローチをベクトル型付けモデルと比較し,いくつかのエンティティ型付けベンチマークで最先端のパフォーマンスを観察した。
論文 参考訳(メタデータ) (2021-01-02T00:59:10Z) - GRIT: Generative Role-filler Transformers for Document-level Event
Entity Extraction [134.5580003327839]
本稿では、文書レベルでコンテキストをモデル化するための生成トランスフォーマーベースのエンコーダデコーダフレームワーク(GRIT)を紹介する。
我々は,MUC-4データセットに対する我々のアプローチを評価し,我々のモデルが先行作業よりもかなり優れていることを示す。
論文 参考訳(メタデータ) (2020-08-21T01:07:36Z) - Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。
我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。
特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
論文 参考訳(メタデータ) (2020-04-30T23:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。