論文の概要: Entity-aware Transformers for Entity Search
- arxiv url: http://arxiv.org/abs/2205.00820v1
- Date: Mon, 2 May 2022 11:53:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-03 19:01:02.763605
- Title: Entity-aware Transformers for Entity Search
- Title（参考訳）: エンティティ検索のためのエンティティ対応トランスフォーマー
- Authors: Emma J. Gerritse, Faegheh Hasibi, Arjen P. de Vries
- Abstract要約: 本稿では,エンティティ強化BERTモデルにより,通常のBERTモデル上でのエンティティ指向クエリの有効性が向上することを示す。
また、エンティティ富化モデルによって提供されるエンティティ情報は、特にあまり普及していないエンティティに関連するクエリに役立ちます。
- 参考スコア（独自算出の注目度）: 6.107210856380526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained language models such as BERT have been a key ingredient to
achieve state-of-the-art results on a variety of tasks in natural language
processing and, more recently, also in information retrieval.Recent research
even claims that BERT is able to capture factual knowledge about entity
relations and properties, the information that is commonly obtained from
knowledge graphs. This paper investigates the following question: Do BERT-based
entity retrieval models benefit from additional entity information stored in
knowledge graphs? To address this research question, we map entity embeddings
into the same input space as a pre-trained BERT model and inject these entity
embeddings into the BERT model. This entity-enriched language model is then
employed on the entity retrieval task. We show that the entity-enriched BERT
model improves effectiveness on entity-oriented queries over a regular BERT
model, establishing a new state-of-the-art result for the entity retrieval
task, with substantial improvements for complex natural language queries and
queries requesting a list of entities with a certain property. Additionally, we
show that the entity information provided by our entity-enriched model
particularly helps queries related to less popular entities. Last, we observe
empirically that the entity-enriched BERT models enable fine-tuning on limited
training data, which otherwise would not be feasible due to the known
instabilities of BERT in few-sample fine-tuning, thereby contributing to
data-efficient training of BERT for entity search.
- Abstract（参考訳）: BERTのような事前学習された言語モデルは、自然言語処理や情報検索の様々なタスクにおける最先端の成果を達成する上で重要な要素であり、近年の研究では、BERTは知識グラフから得られる情報であるエンティティ関係や特性に関する事実知識を捉えることができると主張している。
BERTベースのエンティティ検索モデルは、知識グラフに格納されたエンティティ情報から恩恵を受けるか?
この課題に対処するために、我々はエンティティ埋め込みを事前訓練されたBERTモデルと同じ入力空間にマッピングし、エンティティ埋め込みをBERTモデルに注入する。
このエンティティ強化言語モデルは、エンティティ検索タスクに使用される。
本稿では,エンティティ強化BERTモデルにより,エンティティ指向クエリの有効性が向上し,エンティティ検索タスクに対する新たな最先端結果が確立され,複雑な自然言語クエリや,特定のプロパティを持つエンティティのリストを要求されるクエリが大幅に改善されたことを示す。
さらに、entity-enrichedモデルが提供するエンティティ情報は、特にあまり普及していないエンティティに関連するクエリに役立つことを示します。
最後に、エンティティ強化BERTモデルにより、限られたトレーニングデータに対して微調整が可能であり、そうでなければ、数サンプルの微調整においてBERTの不安定さが既知のため実現不可能であり、エンティティサーチにおけるBERTのデータ効率のトレーニングに寄与することが実証的に観察された。
関連論文リスト
- Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。
GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
論文 参考訳（メタデータ） (2024-04-02T04:27:54Z) - Learning to Extract Structured Entities Using Language Models [52.281701191329]
機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。
タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。
我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
論文 参考訳（メタデータ） (2024-02-06T22:15:09Z) - Memorization of Named Entities in Fine-tuned BERT Models [3.0177210416625115]
細調整BERTモデルにおける名前付きエンティティ記憶の程度について検討する。
細調整されたBERTは、事前訓練されたBERTモデルよりも、細調整されたデータセットに特有の名前付きエンティティを生成できないことを示す。
論文 参考訳（メタデータ） (2022-12-07T16:20:50Z) - Representing Knowledge by Spans: A Knowledge-Enhanced Model for
Information Extraction [7.077412533545456]
本稿では,エンティティとリレーションの両方の表現を同時に学習する事前学習モデルを提案する。
スパンをスパンモジュールで効率的に符号化することで、私たちのモデルはエンティティとそれらの関係を表現できますが、既存のモデルよりもパラメータが少なくなります。
論文 参考訳（メタデータ） (2022-08-20T07:32:25Z) - A Simple but Effective Pluggable Entity Lookup Table for Pre-trained
Language Models [93.39977756450354]
本稿では,シンプルで効果的なPugable Entity Lookup Table (PELT) をオンデマンドで構築することを提案する。
PELTは、事前訓練された言語モデルにエンティティ補足的知識を注入するための入力として、相互に接続することができる。
知識関連タスクの実験により,私たちの手法であるPELTが,関連コーパスからのエンティティ知識をPLMに柔軟かつ効果的に伝達できることが実証された。
論文 参考訳（メタデータ） (2022-02-27T16:30:22Z) - Fast and Effective Biomedical Entity Linking Using a Dual Encoder [48.86736921025866]
文書中の複数の言及を1ショットで解決するBERTベースのデュアルエンコーダモデルを提案する。
本稿では,提案モデルが既存のBERTモデルよりも複数倍高速であり,バイオメディカルエンティティリンクの精度に競争力があることを示す。
論文 参考訳（メタデータ） (2021-03-08T19:32:28Z) - HittER: Hierarchical Transformers for Knowledge Graph Embeddings [85.93509934018499]
複雑な知識グラフにおける実体と関係の表現を学習するためにHittを提案する。
実験結果から,Hittは複数リンク予測において最先端の新たな結果が得られることがわかった。
さらに,HittをBERTに統合する簡単なアプローチを提案し,その効果を2つのFreebaseファクトイド対応データセットで示す。
論文 参考訳（メタデータ） (2020-08-28T18:58:15Z) - Table Search Using a Deep Contextualized Language Model [20.041167804194707]
本稿では、アドホックテーブル検索のタスクに、文脈化言語モデルBERTを用いる。
本稿では,テーブル検索における先行文献の特徴を取り入れた手法を提案し,BERTと共同で学習する。
論文 参考訳（メタデータ） (2020-05-19T04:18:04Z) - Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。
我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。
特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
論文 参考訳（メタデータ） (2020-04-30T23:58:03Z) - Investigating Entity Knowledge in BERT with Simple Neural End-To-End
Entity Linking [8.265860641797996]
我々は、驚くほどうまく機能するエンティティリンク設定を極端に単純化することを提案する。
本研究では,このモデルにより,平易なBERT上でのエンティティ表現が向上することを示す。
また,テキスト理解型ベンチマークGLUEにおけるエンティティ認識トークン表現の有用性についても検討した。
論文 参考訳（メタデータ） (2020-03-11T18:23:00Z) - Improving Entity Linking by Modeling Latent Entity Type Information [25.33342677359822]
本稿では,事前学習したBERTに基づいて,潜在エンティティの型情報をエンティティ埋め込みに注入することを提案する。
さらに、BERTに基づくエンティティ類似度スコアを最先端モデルのローカルコンテキストモデルに統合し、潜在エンティティの型情報をよりよくキャプチャする。
我々のモデルは、標準ベンチマーク(AIDA-CoNLL)における最先端エンティティリンクモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-01-06T09:18:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。