論文の概要: Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking

• arxiv url: http://arxiv.org/abs/2003.05473v1
• Date: Wed, 11 Mar 2020 18:23:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 13:29:22.740092
• Title: Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking
• Title（参考訳）: 単純なニューラルネットワークによるBERTのエンティティ知識の探索
• Authors: Samuel Broscheit
• Abstract要約: 我々は、驚くほどうまく機能するエンティティリンク設定を極端に単純化することを提案する。 本研究では,このモデルにより,平易なBERT上でのエンティティ表現が向上することを示す。 また,テキスト理解型ベンチマークGLUEにおけるエンティティ認識トークン表現の有用性についても検討した。
• 参考スコア（独自算出の注目度）: 8.265860641797996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A typical architecture for end-to-end entity linking systems consists of three steps: mention detection, candidate generation and entity disambiguation. In this study we investigate the following questions: (a) Can all those steps be learned jointly with a model for contextualized text-representations, i.e. BERT (Devlin et al., 2019)? (b) How much entity knowledge is already contained in pretrained BERT? (c) Does additional entity knowledge improve BERT's performance in downstream tasks? To this end, we propose an extreme simplification of the entity linking setup that works surprisingly well: simply cast it as a per token classification over the entire entity vocabulary (over 700K classes in our case). We show on an entity linking benchmark that (i) this model improves the entity representations over plain BERT, (ii) that it outperforms entity linking architectures that optimize the tasks separately and (iii) that it only comes second to the current state-of-the-art that does mention detection and entity disambiguation jointly. Additionally, we investigate the usefulness of entity-aware token-representations in the text-understanding benchmark GLUE, as well as the question answering benchmarks SQUAD V2 and SWAG and also the EN-DE WMT14 machine translation benchmark. To our surprise, we find that most of those benchmarks do not benefit from additional entity knowledge, except for a task with very small training data, the RTE task in GLUE, which improves by 2%.
• Abstract（参考訳）: エンドツーエンドのエンティティリンクシステムのための典型的なアーキテクチャは、3つのステップで構成されている。 本研究では,以下の質問について考察する。 (a)BERT(Devlin et al., 2019)という文脈的テキスト表現モデルと協調してこれらのステップを学ぶことができるか? (b)既に事前訓練されたBERTにどの程度のエンティティ知識が含まれているか? (c)下流タスクにおけるBERTのパフォーマンスは、追加のエンティティ知識によって改善されるか? この目的のために、私たちはエンティティ・リンク・セットアップを極端に単純化し、驚くほどうまく機能し、エンティティ・ボキャブラリ全体(私たちの場合は700K以上のクラス)にトークン単位の分類としてキャストする。 エンティティリンクのベンチマークをお見せします (i)このモデルはプレーンベルト上のエンティティ表現を改善する。 (ii)タスクを別々に最適化するエンティティリンクアーキテクチャを上回っていること、及び (iii)検出とエンティティの曖昧さを共同で言及する現在の最先端技術に次いでいること。 さらに,テキスト理解型ベンチマークGLUEにおけるエンティティ認識トークン表現の有用性や,SQUAD V2およびSWAGに対する質問応答ベンチマーク,EN-DE WMT14機械翻訳ベンチマークについて検討する。 驚いたことに、これらのベンチマークのほとんどは、非常に小さなトレーニングデータを持つタスクであるGLUEのRTEタスクを除いて、追加のエンティティ知識の恩恵を受けていない。

関連論文リスト

• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• OneNet: A Fine-Tuning Free Framework for Few-Shot Entity Linking via Large Language Model Prompting [49.655711022673046]
  OneNetは、大規模言語モデル(LLM)の少数ショット学習機能を利用する革新的なフレームワークで、微調整は不要である。 1)無関係なエンティティを要約してフィルタリングすることで入力を単純化するエンティティリダクションプロセッサ,(2)コンテキスト的キューと事前知識を組み合わせて正確なエンティティリンクを行うデュアルパースペクティブエンティティリンカ,(3)エンティティリンク推論における幻覚を緩和するユニークな一貫性アルゴリズムを利用するエンティティコンセンサス判定器,である。
  論文  参考訳（メタデータ） (2024-10-10T02:45:23Z)
• Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
  より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。 GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
  論文  参考訳（メタデータ） (2024-04-02T04:27:54Z)
• IXA/Cogcomp at SemEval-2023 Task 2: Context-enriched Multilingual Named Entity Recognition using Knowledge Bases [53.054598423181844]
  3つのステップからなる新しいNERカスケードアプローチを提案する。 我々は、細粒度および新興物質を正確に分類する上で、外部知識基盤の重要性を実証的に示す。 本システムは,低リソース言語設定においても,マルチコネラ2共有タスクにおいて頑健な性能を示す。
  論文  参考訳（メタデータ） (2023-04-20T20:30:34Z)
• Few-Shot Nested Named Entity Recognition [4.8693196802491405]
  本論文は,数発のネストNERタスクを研究対象とする最初の論文である。 本稿では、コンテキスト依存を学習し、ネストしたエンティティを識別するためのBiaffine-based Contrastive Learning (BCL)フレームワークを提案する。 BCLはF1スコアで1ショットと5ショットの3つのベースラインモデルを上回った。
  論文  参考訳（メタデータ） (2022-12-02T03:42:23Z)
• Entity-aware Transformers for Entity Search [6.107210856380526]
  本稿では,エンティティ強化BERTモデルにより,通常のBERTモデル上でのエンティティ指向クエリの有効性が向上することを示す。 また、エンティティ富化モデルによって提供されるエンティティ情報は、特にあまり普及していないエンティティに関連するクエリに役立ちます。
  論文  参考訳（メタデータ） (2022-05-02T11:53:59Z)
• MuVER: Improving First-Stage Entity Retrieval with Multi-View Entity Representations [28.28940043641958]
  本稿では,エンティティ記述のためのマルチビュー表現を構築し,検索手法による参照に対する最適ビューを近似する,エンティティ検索のための新しいアプローチを提案する。 提案手法は,ZESHELにおける最先端性能を実現し,標準エンティティリンクデータセットの候補の品質を向上させる。
  論文  参考訳（メタデータ） (2021-09-13T05:51:45Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• HittER: Hierarchical Transformers for Knowledge Graph Embeddings [85.93509934018499]
  複雑な知識グラフにおける実体と関係の表現を学習するためにHittを提案する。 実験結果から,Hittは複数リンク予測において最先端の新たな結果が得られることがわかった。 さらに,HittをBERTに統合する簡単なアプローチを提案し,その効果を2つのFreebaseファクトイド対応データセットで示す。
  論文  参考訳（メタデータ） (2020-08-28T18:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。