論文の概要: OntoType: Ontology-Guided Zero-Shot Fine-Grained Entity Typing with Weak Supervision from Pre-Trained Language Models

• arxiv url: http://arxiv.org/abs/2305.12307v1
• Date: Sun, 21 May 2023 00:32:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 23:11:54.103348
• Title: OntoType: Ontology-Guided Zero-Shot Fine-Grained Entity Typing with Weak Supervision from Pre-Trained Language Models
• Title（参考訳）: OntoType: 事前学習言語モデルからの弱スーパービジョンによるオントロジー誘導ゼロショットファイングレードエンティティタイピング
• Authors: Tanay Komarlu, Minhao Jiang, Xuan Wang, Jiawei Han
• Abstract要約: きめ細かいエンティティタイピング(FET)は、コンテキストに敏感できめ細かいセマンティックタイプでエンティティをテキストに割り当てる。 最近の研究は、事前訓練された言語モデル(PLM)を利用して、FETのためのリッチでコンテキスト対応の弱い監視を生成する。 オントロジーはセマンティクスに富んだ階層構造を提供し、複数のPLMモデルとヘッドワードが生成する最良の結果を選択するのに役立ちます。
• 参考スコア（独自算出の注目度）: 26.263065299281372
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained entity typing (FET), which assigns entities in text with context-sensitive, fine-grained semantic types, will play an important role in natural language understanding. A supervised FET method, which typically relies on human-annotated corpora for training, is costly and difficult to scale. Recent studies leverage pre-trained language models (PLMs) to generate rich and context-aware weak supervision for FET. However, a PLM may still generate a mixture of rough and fine-grained types, or tokens unsuitable for typing. In this study, we vision that an ontology provides a semantics-rich, hierarchical structure, which will help select the best results generated by multiple PLM models and head words. Specifically, we propose a novel zero-shot, ontology-guided FET method, OntoType, which follows a type ontological structure, from coarse to fine, ensembles multiple PLM prompting results to generate a set of type candidates, and refines its type resolution, under the local context with a natural language inference model. Our experiments on the Ontonotes, FIGER, and NYT datasets using their associated ontological structures demonstrate that our method outperforms the state-of-the-art zero-shot fine-grained entity typing methods. Our error analysis shows that refinement of the existing ontology structures will further improve fine-grained entity typing.
• Abstract（参考訳）: テキスト内のエンティティに文脈に敏感できめ細かい意味型を割り当てるきめ細かいエンティティ型付け(fet)は、自然言語理解において重要な役割を果たす。 教師付きFET法は、通常、人間の注釈付きコーパスに頼っているが、費用がかかり、スケールが難しい。 最近の研究は、事前学習言語モデル(PLM)を利用して、FETのリッチでコンテキスト対応の弱い監視を生成する。 しかし、PLMはいまだに粗い型ときめ細かい型の混合を生成したり、タイピングに適さないトークンを生成できる。 本研究では、オントロジーが意味論に富む階層構造を提供し、複数のplmモデルと頭語が生成する最良の結果を選択するのに役立つと考えている。 具体的には,0ショットのオントロジー誘導型FET法であるOntoTypeを提案する。この手法は,粗い値から細値までの型オントロジー構造に従って,複数のPLMをアンサンブルして,複数の型候補を生成し,その型分解能を自然言語推論モデルを用いて局所文脈下で改良する。 オントノート,FIGER,NYTデータセットに関する実験は,その関連するオントロジー構造を用いて,我々の手法が最先端のゼロショットなエンティティタイピング手法より優れていることを示した。 エラー解析により,既存のオントロジー構造の改良により,より微細なエンティティタイピングが向上することが示された。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Seed-Guided Fine-Grained Entity Typing in Science and Engineering Domains [51.02035914828596]
  科学・工学分野において,シード誘導型細粒度エンティティタイピングの課題について検討する。 まず、ラベルのないコーパスから各タイプのエンティティを抽出し、弱い監視力を高めるSETypeを提案する。 そして、リッチなエンティティをラベルなしのテキストにマッチさせ、擬似ラベル付きサンプルを取得し、見知らぬ型と見えない型の両方に推論できるテキストエンテリメントモデルを訓練する。
  論文  参考訳（メタデータ） (2024-01-23T22:36:03Z)
• Ontology Enrichment for Effective Fine-grained Entity Typing [45.356694904518626]
  きめ細かいエンティティタイピング(FET)は、コンテキスト情報に基づいてエンティティの参照に対して、特定のエンティティタイプをきめ細かいレベルで識別するタスクである。 FETの従来の方法には、時間と費用がかかる広範囲な人的アノテーションが必要である。 提案手法は,コントラストのあるトピックとインスタンスベースの強化トレーニングサンプルを用いたエンテーメントモデルをトレーニングすることにより,その情報を利用する粗大なタイピングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-10-11T18:30:37Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Generative Entity Typing with Curriculum Learning [18.43562065432877]
  本稿では,新しい生成エンティティタイピング(GET)パラダイムを提案する。 エンティティが言及したテキストが与えられた場合、エンティティがテキストで果たす役割の複数の型は、事前訓練された言語モデルで生成される。 我々の実験は、最先端エンティティ型付けモデルよりもGETモデルの方が優れていることを正当化します。
  論文  参考訳（メタデータ） (2022-10-06T13:32:50Z)
• Ultra-fine Entity Typing with Indirect Supervision from Natural Language Inference [28.78215056129358]
  この研究は、エンティティ型付けを自然言語推論(NLI)問題として定式化する新しいアプローチであるLITEを提示する。 実験により、LITEは訓練データに制限があるため、UFETタスクにおける最先端のパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-02-12T23:56:26Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。