論文の概要: EnCore: Pre-Training Entity Encoders using Coreference Chains

• arxiv url: http://arxiv.org/abs/2305.12924v1
• Date: Mon, 22 May 2023 11:11:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 16:30:44.022128
• Title: EnCore: Pre-Training Entity Encoders using Coreference Chains
• Title（参考訳）: EnCore: Coreference Chainを使用した事前トレーニングエンティティエンコーダ
• Authors: Frank Mtumbuka and Steven Schockaert
• Abstract要約: 我々は、コア参照チェーンを追加の監視信号として使用することを提案する。 コントラスト損失を用いたエンティティエンコーダの事前訓練を行う。 その結果,提案した事前学習戦略により,細粒度エンティティタイピングの最先端性を向上できることがわかった。
• 参考スコア（独自算出の注目度）: 32.420550352860175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entity typing is the task of assigning semantic types to the entities that are mentioned in a text. Since obtaining sufficient amounts of manual annotations is expensive, current state-of-the-art methods are typically trained on automatically labelled datasets, e.g. by exploiting links between Wikipedia pages. In this paper, we propose to use coreference chains as an additional supervision signal. Specifically, we pre-train an entity encoder using a contrastive loss, such that entity embeddings of coreferring entities are more similar to each other than to the embeddings of other entities. Since this strategy is not tied to Wikipedia, we can pre-train our entity encoder on other genres than encyclopedic text and on larger amounts of data. Our experimental results show that the proposed pre-training strategy allows us to improve the state-of-the-art in fine-grained entity typing, provided that only high-quality coreference links are exploited.
• Abstract（参考訳）: エンティティ型付けは、テキストで言及されているエンティティにセマンティック型を割り当てるタスクである。 十分な量の手動アノテーションを取得することは高価であるため、現在の最先端の手法は、例えばウィキペディアページ間のリンクを利用して、自動的にラベル付けされたデータセットで訓練される。 本稿では,コリファレンスチェーンを追加の監督信号として用いることを提案する。 具体的には、コントラスト損失を用いたエンティティエンコーダの事前訓練を行い、コアファーリングエンティティの埋め込みは他のエンティティの埋め込みよりも互いに類似している。 この戦略はウィキペディアと結びついていないため、百科事典テキストや大量のデータよりも、他のジャンルでエンティティエンコーダを事前訓練することができる。 提案手法は,高品質なコリファレンスリンクのみを活用すれば,細粒度エンティティタイピングにおける最先端の改善が期待できることを示す。

関連論文リスト

• Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
  より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。 GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
  論文  参考訳（メタデータ） (2024-04-02T04:27:54Z)
• Seed-Guided Fine-Grained Entity Typing in Science and Engineering Domains [51.02035914828596]
  科学・工学分野において,シード誘導型細粒度エンティティタイピングの課題について検討する。 まず、ラベルのないコーパスから各タイプのエンティティを抽出し、弱い監視力を高めるSETypeを提案する。 そして、リッチなエンティティをラベルなしのテキストにマッチさせ、擬似ラベル付きサンプルを取得し、見知らぬ型と見えない型の両方に推論できるテキストエンテリメントモデルを訓練する。
  論文  参考訳（メタデータ） (2024-01-23T22:36:03Z)
• Coherent Entity Disambiguation via Modeling Topic and Categorical Dependency [87.16283281290053]
  従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。 本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。 我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-11-06T16:40:13Z)
• Optimizing Bi-Encoder for Named Entity Recognition via Contrastive Learning [80.36076044023581]
  名前付きエンティティ認識(NER)のための効率的なバイエンコーダフレームワークを提案する。 我々はNERを、エンティティ参照のベクトル表現とその型との類似性を最大化する計量学習問題とみなす。 NERのこのバイエンコーダの定式化における大きな課題は、エンティティの言及から非エンゲージスを分離することにある。
  論文  参考訳（メタデータ） (2022-08-30T23:19:04Z)
• Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation and Instance Generation [36.541309948222306]
  各エンティティタイプに対して,アノテーション付きエンティティ参照が付与される場合,FET(Fall-shot Fine-fine Entity Typing)の問題について検討する。 そこで本稿では,(1) エンティティ型ラベル解釈モジュールが,少数ショットインスタンスとラベル階層を併用することで,タイプラベルと語彙の関連付けを自動的に学習し,(2) 型ベースのコンテキスト化インスタンス生成器は,与えられたインスタンスに基づいて新しいインスタンスを生成して,より一般化のためにトレーニングセットを拡大する,という,2つのモジュールからなる新しいFETフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-28T04:05:40Z)
• Ultra-Fine Entity Typing with Weak Supervision from a Masked Language Model [39.031515304057585]
  最近、よりリッチで超微細な型セットを使用することで、きめ細かいエンティティタイピングを拡張する取り組みが行われている。 BERT Masked Language Model (MLM) を用いた超微細エンティティタイピングのためのトレーニングデータを得る。 文中の言及が与えられた場合、提案手法はBERTの入力を構築し、参照の文脈依存ハイパーネムを予測し、型ラベルとして使用することができる。
  論文  参考訳（メタデータ） (2021-06-08T04:43:28Z)
• Autoregressive Entity Retrieval [55.38027440347138]
  エンティティは、知識の表現と集約の方法の中心にあります。 クエリが与えられたエンティティを検索できることは、エンティティリンクやオープンドメインの質問応答のような知識集約的なタスクに基本となる。 本稿では,自己回帰方式でトークン・バイ・トークンを左から右に生成し,エンティティを検索する最初のシステムであるGENREを提案する。
  論文  参考訳（メタデータ） (2020-10-02T10:13:31Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。