論文の概要: Learning Cross-Context Entity Representations from Text
- arxiv url: http://arxiv.org/abs/2001.03765v1
- Date: Sat, 11 Jan 2020 15:30:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 09:35:51.599544
- Title: Learning Cross-Context Entity Representations from Text
- Title（参考訳）: テキストからクロスコンテキストエンティティ表現を学ぶ
- Authors: Jeffrey Ling, Nicholas FitzGerald, Zifei Shan, Livio Baldini Soares,
Thibault F\'evry, David Weiss, Tom Kwiatkowski
- Abstract要約: 本稿では,テキストコンテキストからエンティティのコンテキスト独立表現を学習するための補間タスクの利用について検討する。
ニューラルネットワークの大規模トレーニングによって,高品質な実体表現を学習できることが示される。
我々のグローバルな実体表現は、スコットランドのサッカー選手のようなきめ細かい型カテゴリをエンコードし、トリビアの質問に答えることができます。
- 参考スコア（独自算出の注目度）: 9.981223356176496
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language modeling tasks, in which words, or word-pieces, are predicted on the
basis of a local context, have been very effective for learning word embeddings
and context dependent representations of phrases. Motivated by the observation
that efforts to code world knowledge into machine readable knowledge bases or
human readable encyclopedias tend to be entity-centric, we investigate the use
of a fill-in-the-blank task to learn context independent representations of
entities from the text contexts in which those entities were mentioned. We show
that large scale training of neural models allows us to learn high quality
entity representations, and we demonstrate successful results on four domains:
(1) existing entity-level typing benchmarks, including a 64% error reduction
over previous work on TypeNet (Murty et al., 2018); (2) a novel few-shot
category reconstruction task; (3) existing entity linking benchmarks, where we
match the state-of-the-art on CoNLL-Aida without linking-specific features and
obtain a score of 89.8% on TAC-KBP 2010 without using any alias table, external
knowledge base or in domain training data and (4) answering trivia questions,
which uniquely identify entities. Our global entity representations encode
fine-grained type categories, such as Scottish footballers, and can answer
trivia questions such as: Who was the last inmate of Spandau jail in Berlin?
- Abstract（参考訳）: 局所的な文脈に基づいて単語や単語が予測される言語モデリングタスクは、単語の埋め込みや句の文脈依存表現を学習するのに非常に効果的である。
本研究は,世界知識を機械可読知識ベースや人間可読百科事典にコーディングする作業がエンティティ中心になる傾向にあるという観察に触発され,それらのエンティティが言及されたテキストコンテキストから実体の文脈に依存しない表現を学習するための補足タスクの利用について検討する。
We show that large scale training of neural models allows us to learn high quality entity representations, and we demonstrate successful results on four domains: (1) existing entity-level typing benchmarks, including a 64% error reduction over previous work on TypeNet (Murty et al., 2018); (2) a novel few-shot category reconstruction task; (3) existing entity linking benchmarks, where we match the state-of-the-art on CoNLL-Aida without linking-specific features and obtain a score of 89.8% on TAC-KBP 2010 without using any alias table, external knowledge base or in domain training data and (4) answering trivia questions, which uniquely identify entities.
私たちのグローバルな実体表現は、スコットランドのサッカー選手のようなきめ細かいタイプカテゴリーをエンコードしており、ベルリンにおけるスパンダウ刑務所の最後の受刑者は誰ですか?
関連論文リスト
- A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
自然言語推論は自然言語理解のプロキシである。
ルーマニア語のNLIコーパスは公開されていない。
58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
論文 参考訳（メタデータ） (2024-05-20T08:41:15Z) - KEPLET: Knowledge-Enhanced Pretrained Language Model with Topic Entity
Awareness [12.90996504014071]
Topicエンティティ認識を備えた知識強化型LanguagEモデルKEPLETを提案する。
エンドツーエンドの方法で、KEPLETはトピックエンティティの情報をWikipediaの文に追加する場所を特定する。
2つの代表KEPLMに適用したKePLETの一般性と優越性を示す実験を行った。
論文 参考訳（メタデータ） (2023-05-02T22:28:26Z) - IXA/Cogcomp at SemEval-2023 Task 2: Context-enriched Multilingual Named
Entity Recognition using Knowledge Bases [53.054598423181844]
3つのステップからなる新しいNERカスケードアプローチを提案する。
我々は、細粒度および新興物質を正確に分類する上で、外部知識基盤の重要性を実証的に示す。
本システムは,低リソース言語設定においても,マルチコネラ2共有タスクにおいて頑健な性能を示す。
論文 参考訳（メタデータ） (2023-04-20T20:30:34Z) - Few-Shot Nested Named Entity Recognition [4.8693196802491405]
本論文は,数発のネストNERタスクを研究対象とする最初の論文である。
本稿では、コンテキスト依存を学習し、ネストしたエンティティを識別するためのBiaffine-based Contrastive Learning (BCL)フレームワークを提案する。
BCLはF1スコアで1ショットと5ショットの3つのベースラインモデルを上回った。
論文 参考訳（メタデータ） (2022-12-02T03:42:23Z) - The Fellowship of the Authors: Disambiguating Names from Social Network
Context [2.3605348648054454]
各エンティティに関する広範なテキスト記述を持つオーソリティリストは、欠落しており、曖昧な名前のエンティティである。
BERTをベースとした参照表現と,さまざまなグラフ誘導戦略を組み合わせて,教師付きクラスタ推論手法と教師なしクラスタ推論手法を実験する。
ドメイン内言語モデルの事前学習は,特により大きなコーパスに対して,参照表現を大幅に改善できることがわかった。
論文 参考訳（メタデータ） (2022-08-31T21:51:55Z) - Sentiment analysis in tweets: an assessment study from classical to
modern text representation models [59.107260266206445]
Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。
非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。
本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
論文 参考訳（メタデータ） (2021-05-29T21:05:28Z) - LUKE: Deep Contextualized Entity Representations with Entity-aware
Self-attention [37.111204321059084]
両方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。
我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。
また,変換器の自己認識機構の拡張である自己認識機構を提案する。
論文 参考訳（メタデータ） (2020-10-02T15:38:03Z) - Soft Gazetteers for Low-Resource Named Entity Recognition [78.00856159473393]
本稿では、英語知識ベースからユビキタスに利用可能な情報をニューラル名付きエンティティ認識モデルに組み込む「ソフトガゼッタ」を提案する。
4つの低リソース言語に対する実験により,F1得点の4点の平均的改善が示された。
論文 参考訳（メタデータ） (2020-05-04T21:58:02Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳（メタデータ） (2020-04-29T14:22:42Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳（メタデータ） (2020-04-17T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。