論文の概要: Ultra-Fine Entity Typing with Weak Supervision from a Masked Language Model

• arxiv url: http://arxiv.org/abs/2106.04098v1
• Date: Tue, 8 Jun 2021 04:43:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:02:53.068481
• Title: Ultra-Fine Entity Typing with Weak Supervision from a Masked Language Model
• Title（参考訳）: マスキング言語モデルからの弱い監督を伴う超微細エンティティ型付け
• Authors: Hongliang Dai, Yangqiu Song, Haixun Wang
• Abstract要約: 最近、よりリッチで超微細な型セットを使用することで、きめ細かいエンティティタイピングを拡張する取り組みが行われている。 BERT Masked Language Model (MLM) を用いた超微細エンティティタイピングのためのトレーニングデータを得る。 文中の言及が与えられた場合、提案手法はBERTの入力を構築し、参照の文脈依存ハイパーネムを予測し、型ラベルとして使用することができる。
• 参考スコア（独自算出の注目度）: 39.031515304057585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there is an effort to extend fine-grained entity typing by using a richer and ultra-fine set of types, and labeling noun phrases including pronouns and nominal nouns instead of just named entity mentions. A key challenge for this ultra-fine entity typing task is that human annotated data are extremely scarce, and the annotation ability of existing distant or weak supervision approaches is very limited. To remedy this problem, in this paper, we propose to obtain training data for ultra-fine entity typing by using a BERT Masked Language Model (MLM). Given a mention in a sentence, our approach constructs an input for the BERT MLM so that it predicts context dependent hypernyms of the mention, which can be used as type labels. Experimental results demonstrate that, with the help of these automatically generated labels, the performance of an ultra-fine entity typing model can be improved substantially. We also show that our approach can be applied to improve traditional fine-grained entity typing after performing simple type mapping.
• Abstract（参考訳）: 近年では、より豊かで微細な型集合を用いて細粒度のエンティティタイピングを拡張し、単に名前付きエンティティ言及ではなく、代名詞や名詞を含む名詞句をラベル付けする取り組みが行われている。 この超微細なエンティティタイピングタスクの重要な課題は、人間の注釈付きデータが極めて少なく、既存の遠隔または弱い監督アプローチのアノテーション能力が非常に限られていることである。 そこで本稿では, BERT Masked Language Model (MLM) を用いて, 超微細エンティティタイピングのためのトレーニングデータを取得することを提案する。 文中の言及が与えられた場合,提案手法はBERT MLMの入力を構築し,参照の文脈依存ハイパーネムを予測し,型ラベルとして使用することができる。 実験により,これら自動生成ラベルの助けを借りて,超微細なエンティティタイピングモデルの性能を大幅に向上できることを示した。 また、本手法は、単純な型マッピングを実行した後、従来の細粒度エンティティタイピングを改善するためにも適用可能であることを示す。

関連論文リスト

• Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
  大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:59:44Z)
• Seed-Guided Fine-Grained Entity Typing in Science and Engineering Domains [51.02035914828596]
  科学・工学分野において,シード誘導型細粒度エンティティタイピングの課題について検討する。 まず、ラベルのないコーパスから各タイプのエンティティを抽出し、弱い監視力を高めるSETypeを提案する。 そして、リッチなエンティティをラベルなしのテキストにマッチさせ、擬似ラベル付きサンプルを取得し、見知らぬ型と見えない型の両方に推論できるテキストエンテリメントモデルを訓練する。
  論文  参考訳（メタデータ） (2024-01-23T22:36:03Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• From Ultra-Fine to Fine: Fine-tuning Ultra-Fine Entity Typing Models to Fine-grained [12.948753628039093]
  この問題に対処する一般的な方法は、間違ったラベルを含む遠方の注釈付きトレーニングデータを使用することである。 我々は,新しい型スキーマが存在する場合,遠隔ラベル付きデータを作成する必要がなくなるような新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-11T08:12:01Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• Generative Entity Typing with Curriculum Learning [18.43562065432877]
  本稿では,新しい生成エンティティタイピング(GET)パラダイムを提案する。 エンティティが言及したテキストが与えられた場合、エンティティがテキストで果たす役割の複数の型は、事前訓練された言語モデルで生成される。 我々の実験は、最先端エンティティ型付けモデルよりもGETモデルの方が優れていることを正当化します。
  論文  参考訳（メタデータ） (2022-10-06T13:32:50Z)
• Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation and Instance Generation [36.541309948222306]
  各エンティティタイプに対して,アノテーション付きエンティティ参照が付与される場合,FET(Fall-shot Fine-fine Entity Typing)の問題について検討する。 そこで本稿では,(1) エンティティ型ラベル解釈モジュールが,少数ショットインスタンスとラベル階層を併用することで,タイプラベルと語彙の関連付けを自動的に学習し,(2) 型ベースのコンテキスト化インスタンス生成器は,与えられたインスタンスに基づいて新しいインスタンスを生成して,より一般化のためにトレーニングセットを拡大する,という,2つのモジュールからなる新しいFETフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-28T04:05:40Z)
• Ultra-fine Entity Typing with Indirect Supervision from Natural Language Inference [28.78215056129358]
  この研究は、エンティティ型付けを自然言語推論(NLI)問題として定式化する新しいアプローチであるLITEを提示する。 実験により、LITEは訓練データに制限があるため、UFETタスクにおける最先端のパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-02-12T23:56:26Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。