論文の概要: Autoregressive Entity Retrieval
- arxiv url: http://arxiv.org/abs/2010.00904v3
- Date: Wed, 24 Mar 2021 07:21:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 00:13:22.697968
- Title: Autoregressive Entity Retrieval
- Title(参考訳): 自動回帰エンティティ検索
- Authors: Nicola De Cao, Gautier Izacard, Sebastian Riedel, Fabio Petroni
- Abstract要約: エンティティは、知識の表現と集約の方法の中心にあります。
クエリが与えられたエンティティを検索できることは、エンティティリンクやオープンドメインの質問応答のような知識集約的なタスクに基本となる。
本稿では,自己回帰方式でトークン・バイ・トークンを左から右に生成し,エンティティを検索する最初のシステムであるGENREを提案する。
- 参考スコア(独自算出の注目度): 55.38027440347138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Entities are at the center of how we represent and aggregate knowledge. For
instance, Encyclopedias such as Wikipedia are structured by entities (e.g., one
per Wikipedia article). The ability to retrieve such entities given a query is
fundamental for knowledge-intensive tasks such as entity linking and
open-domain question answering. Current approaches can be understood as
classifiers among atomic labels, one for each entity. Their weight vectors are
dense entity representations produced by encoding entity meta information such
as their descriptions. This approach has several shortcomings: (i) context and
entity affinity is mainly captured through a vector dot product, potentially
missing fine-grained interactions; (ii) a large memory footprint is needed to
store dense representations when considering large entity sets; (iii) an
appropriately hard set of negative data has to be subsampled at training time.
In this work, we propose GENRE, the first system that retrieves entities by
generating their unique names, left to right, token-by-token in an
autoregressive fashion. This mitigates the aforementioned technical issues
since: (i) the autoregressive formulation directly captures relations between
context and entity name, effectively cross encoding both; (ii) the memory
footprint is greatly reduced because the parameters of our encoder-decoder
architecture scale with vocabulary size, not entity count; (iii) the softmax
loss is computed without subsampling negative data. We experiment with more
than 20 datasets on entity disambiguation, end-to-end entity linking and
document retrieval tasks, achieving new state-of-the-art or very competitive
results while using a tiny fraction of the memory footprint of competing
systems. Finally, we demonstrate that new entities can be added by simply
specifying their names. Code and pre-trained models at
https://github.com/facebookresearch/GENRE.
- Abstract(参考訳): エンティティは、知識の表現と集約の方法の中心にあります。
例えば、ウィキペディアのような百科事典はエンティティ(例えばウィキペディアの記事1つ)によって構成される。
クエリが与えられたエンティティを検索できることは、エンティティリンクやオープンドメインの質問応答のような知識集約的なタスクに基本となる。
現在のアプローチは原子ラベルの分類器として理解することができる。
重みベクトルは、それらの記述のようなエンティティメタ情報をエンコードすることによって生成される密度の高いエンティティ表現である。
このアプローチにはいくつかの欠点があります。
i) 文脈と実体親和性は、主にベクトルドット積を通して捉えられ、潜在的にきめ細かい相互作用を欠く。
(ii)大きな実体集合を考える際には、密度の高い表現を格納するために大きなメモリフットプリントが必要である。
(iii)トレーニング時に、適切にハードなマイナスデータ集合をサブサンプリングする必要がある。
本研究では,自己回帰方式でトークン・バイ・トークンを左から右に生成し,エンティティを検索する最初のシステムであるGENREを提案する。
これ以降の技術的問題を緩和する。
(i)自己回帰的定式化は、文脈と実体名との間の関係を直接捉え、両者を効果的にクロスコーディングする。
(II)エンコーダ・デコーダアーキテクチャのパラメータがエンティティカウントではなく語彙サイズであるため、メモリフットプリントが大幅に削減される。
(iii)負のデータをサブサンプリングすることなく、ソフトマックス損失を算出する。
我々は、エンティティの曖昧さ、エンドツーエンドのエンティティリンク、ドキュメント検索タスクに関する20以上のデータセットを実験し、競合するシステムのメモリフットプリントのごく一部を使用しながら、新しい最先端または非常に競争的な結果を達成する。
最後に、単に名前を指定するだけで新しいエンティティを追加できることを示します。
コードと事前トレーニング済みモデルはhttps://github.com/facebookresearch/genre。
関連論文リスト
- OneNet: A Fine-Tuning Free Framework for Few-Shot Entity Linking via Large Language Model Prompting [49.655711022673046]
OneNetは、大規模言語モデル(LLM)の少数ショット学習機能を利用する革新的なフレームワークで、微調整は不要である。
1)無関係なエンティティを要約してフィルタリングすることで入力を単純化するエンティティリダクションプロセッサ,(2)コンテキスト的キューと事前知識を組み合わせて正確なエンティティリンクを行うデュアルパースペクティブエンティティリンカ,(3)エンティティリンク推論における幻覚を緩和するユニークな一貫性アルゴリズムを利用するエンティティコンセンサス判定器,である。
論文 参考訳(メタデータ) (2024-10-10T02:45:23Z) - Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。
GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
論文 参考訳(メタデータ) (2024-04-02T04:27:54Z) - Joint Entity and Relation Extraction with Span Pruning and Hypergraph
Neural Networks [58.43972540643903]
PLマーカ(最先端マーカーベースピプレリンモデル)上に構築されたEREのためのHyperGraphニューラルネットワーク(hgnn$)を提案する。
エラーの伝播を軽減するため,NERモジュールからのエンティティ識別とラベル付けの負担をモデルのジョイントモジュールに転送するために,ハイリコールプルーナー機構を用いる。
EREタスクに広く使用されている3つのベンチマークの実験は、以前の最先端のPLマーカーよりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-10-26T08:36:39Z) - SpEL: Structured Prediction for Entity Linking [5.112679200269861]
我々は,個々の入力トークンをエンティティとして分類するエンティティリンクの構造化予測の利用を再検討し,トークン予測を集約する。
我々のシステムであるSpELは最先端のエンティティリンクシステムであり、いくつかの新しいアイデアを用いてエンティティリンクのタスクに構造化予測を適用する。
実験の結果,WikipediaへのエンティティリンクのためのAIDAベンチマークデータセットでは,最先端のAIDAよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-10-23T08:24:35Z) - EnCore: Fine-Grained Entity Typing by Pre-Training Entity Encoders on
Coreference Chains [22.469469997734965]
本稿では,コアファーリングエンティティの埋め込みが,他のエンティティの埋め込みよりも互いに類似しているようなエンティティエンコーダの事前学習を提案する。
2つの異なるオフザシェルフシステムによって予測されるコア参照リンクのみを考える。
論文 参考訳(メタデータ) (2023-05-22T11:11:59Z) - What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary [68.77983831618685]
本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
論文 参考訳(メタデータ) (2022-12-20T16:03:25Z) - Knowledge-Rich Self-Supervised Entity Linking [58.838404666183656]
Knowledge-RIch Self-Supervision(KRISSBERT$)は400万のUMLSエンティティのためのユニバーサルエンティティリンカーである。
提案手法はゼロショット法と少数ショット法を仮定し,利用可能であればエンティティ記述やゴールドレファレンスラベルを簡単に組み込むことができる。
ラベル付き情報を一切使わずに400万のUMLSエンティティのためのユニバーサルエンティティリンカである$tt KRISSBERT$を生成する。
論文 参考訳(メタデータ) (2021-12-15T05:05:12Z) - EntQA: Entity Linking as Question Answering [18.39360849304263]
本稿では、質問回答としてエンティティリンクを表すEntQAを紹介する。
このアプローチは、エンティティリンクの進歩と、オープンドメインの質問応答の進歩を組み合わせたものです。
以前の作品とは異なり、我々は言及候補辞書や大規模な弱監督に依存していない。
論文 参考訳(メタデータ) (2021-10-05T21:39:57Z) - MOLEMAN: Mention-Only Linking of Entities with a Mention Annotation
Network [31.65990156182273]
本稿では、エンティティリンクに対して、インスタンスベースの近接アプローチを提案する。
我々は、同じ実体の類似した言及を、異なる実体の言及よりもベクトル空間に近づけることを学ぶ、文脈化された参照エンコーダを構築する。
本モデルは,ウィキペディアのハイパーリンクから派生した参照ペアの多言語コーパスに基づいて学習し,約7億の参照のインデックス上で最寄りの推測を行う。
論文 参考訳(メタデータ) (2021-06-02T15:54:36Z) - LUKE: Deep Contextualized Entity Representations with Entity-aware
Self-attention [37.111204321059084]
両方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。
我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。
また,変換器の自己認識機構の拡張である自己認識機構を提案する。
論文 参考訳(メタデータ) (2020-10-02T15:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。