論文の概要: OntoType: Ontology-Guided and Pre-Trained Language Model Assisted Fine-Grained Entity Typing

• arxiv url: http://arxiv.org/abs/2305.12307v3
• Date: Tue, 11 Jun 2024 16:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 01:28:06.688340
• Title: OntoType: Ontology-Guided and Pre-Trained Language Model Assisted Fine-Grained Entity Typing
• Title（参考訳）: OntoType: Ontology-Guided and Pre-Trained Language Model Assisted Fine-Grained Entity Typing
• Authors: Tanay Komarlu, Minhao Jiang, Xuan Wang, Jiawei Han,
• Abstract要約: きめ細かいエンティティタイピング(FET)は、コンテキストに敏感できめ細かいセマンティックタイプでエンティティをテキストに割り当てる。 OntoTypeは、粗いものから細いものまで、型オントロジ構造に従い、複数のPLMをアンサンブルすることで、型候補のセットを生成する。 Ontonotes、FIGER、NYTデータセットに関する我々の実験は、我々の手法が最先端のゼロショットの微細なエンティティタイピング方法よりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 25.516304052884397
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Fine-grained entity typing (FET), which assigns entities in text with context-sensitive, fine-grained semantic types, is a basic but important task for knowledge extraction from unstructured text. FET has been studied extensively in natural language processing and typically relies on human-annotated corpora for training, which is costly and difficult to scale. Recent studies explore the utilization of pre-trained language models (PLMs) as a knowledge base to generate rich and context-aware weak supervision for FET. However, a PLM still requires direction and guidance to serve as a knowledge base as they often generate a mixture of rough and fine-grained types, or tokens unsuitable for typing. In this study, we vision that an ontology provides a semantics-rich, hierarchical structure, which will help select the best results generated by multiple PLM models and head words. Specifically, we propose a novel annotation-free, ontology-guided FET method, OntoType, which follows a type ontological structure, from coarse to fine, ensembles multiple PLM prompting results to generate a set of type candidates, and refines its type resolution, under the local context with a natural language inference model. Our experiments on the Ontonotes, FIGER, and NYT datasets using their associated ontological structures demonstrate that our method outperforms the state-of-the-art zero-shot fine-grained entity typing methods as well as a typical LLM method, ChatGPT. Our error analysis shows that refinement of the existing ontology structures will further improve fine-grained entity typing.
• Abstract（参考訳）: 文脈に敏感できめ細かなセマンティックタイプでテキスト中のエンティティを割り当てるFETは、構造化されていないテキストから知識を抽出するための基本的なタスクであるが重要なタスクである。 FETは自然言語処理において広く研究されており、典型的には人間の注釈付きコーパスをトレーニングに頼っている。 近年の研究では、FETのためのリッチでコンテキスト対応の弱監視を生成するための知識基盤として、事前学習言語モデル(PLM)の利用について検討している。 しかし、PLMは、粗い型ときめ細かい型、あるいはタイピングに適さないトークンをしばしば生成するため、知識ベースとして機能するために、指示とガイダンスが必要である。 本研究では、オントロジーが意味論的にリッチで階層的な構造を提供し、複数のPLMモデルとヘッドワードが生成する最良の結果の選択を支援することをビジョンする。 具体的には、アノテーションのないオントロジー誘導型FET手法OntoTypeを提案する。これは、粗いものから細いものまで型オントロジー構造に従っており、複数のPLMをアンサンブルして、型候補のセットを生成し、その型解決を自然言語推論モデルを用いてローカルコンテキスト下で改善する。 オントノート,FIGER,NYTデータセットの関連構造を用いた実験により,本手法は最先端のゼロショット・ファインダー・エンティティ・タイピング法,および典型的なLLM法であるChatGPTよりも優れた性能を示した。 エラー解析により,既存のオントロジー構造の改良により,より微細なエンティティタイピングが向上することが示された。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Seed-Guided Fine-Grained Entity Typing in Science and Engineering Domains [51.02035914828596]
  科学・工学分野において,シード誘導型細粒度エンティティタイピングの課題について検討する。 まず、ラベルのないコーパスから各タイプのエンティティを抽出し、弱い監視力を高めるSETypeを提案する。 そして、リッチなエンティティをラベルなしのテキストにマッチさせ、擬似ラベル付きサンプルを取得し、見知らぬ型と見えない型の両方に推論できるテキストエンテリメントモデルを訓練する。
  論文  参考訳（メタデータ） (2024-01-23T22:36:03Z)
• Ontology Enrichment for Effective Fine-grained Entity Typing [45.356694904518626]
  きめ細かいエンティティタイピング(FET)は、コンテキスト情報に基づいてエンティティの参照に対して、特定のエンティティタイプをきめ細かいレベルで識別するタスクである。 FETの従来の方法には、時間と費用がかかる広範囲な人的アノテーションが必要である。 提案手法は,コントラストのあるトピックとインスタンスベースの強化トレーニングサンプルを用いたエンテーメントモデルをトレーニングすることにより,その情報を利用する粗大なタイピングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-10-11T18:30:37Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Generative Entity Typing with Curriculum Learning [18.43562065432877]
  本稿では,新しい生成エンティティタイピング(GET)パラダイムを提案する。 エンティティが言及したテキストが与えられた場合、エンティティがテキストで果たす役割の複数の型は、事前訓練された言語モデルで生成される。 我々の実験は、最先端エンティティ型付けモデルよりもGETモデルの方が優れていることを正当化します。
  論文  参考訳（メタデータ） (2022-10-06T13:32:50Z)
• Ultra-fine Entity Typing with Indirect Supervision from Natural Language Inference [28.78215056129358]
  この研究は、エンティティ型付けを自然言語推論(NLI)問題として定式化する新しいアプローチであるLITEを提示する。 実験により、LITEは訓練データに制限があるため、UFETタスクにおける最先端のパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-02-12T23:56:26Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。