論文の概要: LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention

• arxiv url: http://arxiv.org/abs/2010.01057v1
• Date: Fri, 2 Oct 2020 15:38:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:30:51.623495
• Title: LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention
• Title（参考訳）: LUKE: エンティティを意識したエンティティ表現
• Authors: Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, Yuji Matsumoto
• Abstract要約: 両方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。 我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。 また,変換器の自己認識機構の拡張である自己認識機構を提案する。
• 参考スコア（独自算出の注目度）: 37.111204321059084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entity representations are useful in natural language tasks involving entities. In this paper, we propose new pretrained contextualized representations of words and entities based on the bidirectional transformer. The proposed model treats words and entities in a given text as independent tokens, and outputs contextualized representations of them. Our model is trained using a new pretraining task based on the masked language model of BERT. The task involves predicting randomly masked words and entities in a large entity-annotated corpus retrieved from Wikipedia. We also propose an entity-aware self-attention mechanism that is an extension of the self-attention mechanism of the transformer, and considers the types of tokens (words or entities) when computing attention scores. The proposed model achieves impressive empirical performance on a wide range of entity-related tasks. In particular, it obtains state-of-the-art results on five well-known datasets: Open Entity (entity typing), TACRED (relation classification), CoNLL-2003 (named entity recognition), ReCoRD (cloze-style question answering), and SQuAD 1.1 (extractive question answering). Our source code and pretrained representations are available at https://github.com/studio-ousia/luke.
• Abstract（参考訳）: エンティティ表現は、エンティティを含む自然言語タスクで有用です。 本稿では,双方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。 提案モデルでは,テキスト中の単語やエンティティを独立したトークンとして扱い,文脈化された表現を出力する。 我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。 このタスクは、wikipediaから抽出された大きなエンティティアノテーション付きコーパスで、ランダムにマスクされた単語とエンティティを予測することである。 また,トランスフォーマの自己着脱機構の拡張であるエンティティ認識自己着脱機構を提案し,注意点を計算する際のトークン(単語やエンティティ)の種類を考察する。 提案モデルは、幅広いエンティティ関連タスクにおいて印象的な経験的パフォーマンスを達成している。 特に、open entity (entity typing), tacred (relation classification), conll-2003 (named entity recognition), record (cloze-style question answering), squad 1.1 (extractive question answering)の5つのよく知られているデータセットについて最新の結果を得る。 ソースコードと事前トレーニング済みの表現は、https://github.com/studio-ousia/luke.comから入手できます。

関連論文リスト

• Focus! Relevant and Sufficient Context Selection for News Image Captioning [69.36678144800936]
  News Image Captioningは、ニュース記事から追加のコンテキストを活用することで、画像を記述する必要がある。 本稿では,事前学習された視覚・言語検索モデルであるCLIPを用いて,ニュース記事中の視覚的根拠を持つエンティティをローカライズすることを提案する。 我々の実験は、記事からより良いコンテキストを選択するだけで、既存のモデルの性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2022-12-01T20:00:27Z)
• Improving Entity Linking through Semantic Reinforced Entity Embeddings [16.868791358905916]
  そこで本稿では, コンテキスト共通性の学習を容易にするため, 実体埋め込みに微粒な意味情報を注入する手法を提案する。 エンティティの埋め込みに基づいて、エンティティリンクにおける最先端のパフォーマンスを新たに達成しました。
  論文  参考訳（メタデータ） (2021-06-16T00:27:56Z)
• Interpretable and Low-Resource Entity Matching via Decoupling Feature Learning from Decision Making [22.755892575582788]
  Entity Matchingは、同じ現実世界のオブジェクトを表すエンティティレコードを認識することを目的としている。 異種情報融合(HIF)とキー属性ツリー(KAT)誘導からなる新しいEMフレームワークを提案する。 提案手法は効率が高く,ほとんどの場合SOTA EMモデルより優れている。
  論文  参考訳（メタデータ） (2021-06-08T08:27:31Z)
• Autoregressive Entity Retrieval [55.38027440347138]
  エンティティは、知識の表現と集約の方法の中心にあります。 クエリが与えられたエンティティを検索できることは、エンティティリンクやオープンドメインの質問応答のような知識集約的なタスクに基本となる。 本稿では,自己回帰方式でトークン・バイ・トークンを左から右に生成し,エンティティを検索する最初のシステムであるGENREを提案する。
  論文  参考訳（メタデータ） (2020-10-02T10:13:31Z)
• Named Entity Recognition as Dependency Parsing [16.544333689188246]
  グラフベースの依存性解析を使用して、バフィンモデルによる入力のグローバルビューをモデルに提供します。 このモデルは,8コーパスの評価とSoTA性能の達成により,最大2.2ポイントの精度向上を達成し,ネスト型NERと平坦型NERの両方で良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-05-14T17:11:41Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)
• Interpretability Analysis for Named Entity Recognition to Understand System Predictions and How They Can Improve [49.878051587667244]
  名前付きエンティティ認識のためのLSTM-CRFアーキテクチャの性能について検討する。 文脈表現はシステムの性能に寄与するが、ハイパフォーマンスを駆動する主な要因は、名前トークン自体を学習することにある。 我々は、コンテキストのみからエンティティタイプを推測する可能性を評価するために、人間アノテーションを登録し、コンテキストのみのシステムによるエラーの大部分に対してエンティティタイプを推論することはできないが、改善の余地はいくつかある。
  論文  参考訳（メタデータ） (2020-04-09T14:37:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。