論文の概要: From Ultra-Fine to Fine: Fine-tuning Ultra-Fine Entity Typing Models to Fine-grained

• arxiv url: http://arxiv.org/abs/2312.06188v1
• Date: Mon, 11 Dec 2023 08:12:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 16:29:24.689292
• Title: From Ultra-Fine to Fine: Fine-tuning Ultra-Fine Entity Typing Models to Fine-grained
• Title（参考訳）: 超微細型から微細型へ:超微細型から微粒型へ
• Authors: Hongliang Dai, Ziqian Zeng
• Abstract要約: この問題に対処する一般的な方法は、間違ったラベルを含む遠方の注釈付きトレーニングデータを使用することである。 我々は,新しい型スキーマが存在する場合,遠隔ラベル付きデータを作成する必要がなくなるような新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 12.948753628039093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For the task of fine-grained entity typing (FET), due to the use of a large number of entity types, it is usually considered too costly to manually annotating a training dataset that contains an ample number of examples for each type. A common way to address this problem is to use distantly annotated training data that contains incorrect labels. However, the performance of models trained solely with such data can be limited by the errors in the automatic annotation. Recently, there are a few approaches that no longer follow this conventional way. But without using sufficient direct entity typing supervision may also cause them to yield inferior performance. In this paper, we propose a new approach that can avoid the need of creating distantly labeled data whenever there is a new type schema. We first train an entity typing model that have an extremely board type coverage by using the ultra-fine entity typing data. Then, when there is a need to produce a model for a newly designed fine-grained entity type schema. We can simply fine-tune the previously trained model with a small number of examples annotated under this schema. Experimental results show that our approach achieves outstanding performance for FET under the few-shot setting. It can also outperform state-of-the-art weak supervision based methods after fine-tuning the model with only a small size manually annotated training set.
• Abstract（参考訳）: 細粒度エンティティタイプ(fet)のタスクでは、多くのエンティティタイプを使用するため、通常、各型に多数の例を含むトレーニングデータセットを手作業でアノテートするのはコストがかかりすぎると考えられます。 この問題に対処する一般的な方法は、間違ったラベルを含む遠方の注釈付きトレーニングデータを使用することである。 しかし、そのようなデータのみで訓練されたモデルの性能は、自動アノテーションのエラーによって制限される可能性がある。 最近では、この従来の方法に従わないアプローチもいくつかある。 しかし、十分な直接的なエンティティタイピングの監督を使わなければ、パフォーマンスが低下する可能性がある。 本稿では,新しい型スキーマが存在する場合,遠方のラベル付きデータを作成する必要性を回避するための新しい手法を提案する。 まず,超微細なエンティティタイピングデータを用いて,極めてボード型のカバレッジを持つエンティティタイピングモデルをトレーニングする。 そして、新しく設計されたきめ細かいエンティティタイプスキーマのためのモデルを作成する必要がある場合。 このスキーマで注釈付けされた少数の例で、トレーニング済みのモデルを単純に微調整することができます。 実験結果から,本手法はFETの性能に優れることがわかった。 また、手動で手動のトレーニングセットのみでモデルを微調整した後、最先端の弱い監督ベースの手法よりも優れている。

関連論文リスト

• Seed-Guided Fine-Grained Entity Typing in Science and Engineering Domains [51.02035914828596]
  科学・工学分野において,シード誘導型細粒度エンティティタイピングの課題について検討する。 まず、ラベルのないコーパスから各タイプのエンティティを抽出し、弱い監視力を高めるSETypeを提案する。 そして、リッチなエンティティをラベルなしのテキストにマッチさせ、擬似ラベル付きサンプルを取得し、見知らぬ型と見えない型の両方に推論できるテキストエンテリメントモデルを訓練する。
  論文  参考訳（メタデータ） (2024-01-23T22:36:03Z)
• Calibrated Seq2seq Models for Efficient and Generalizable Ultra-fine Entity Typing [10.08153231108538]
  超微細エンティティタイピング用に設計されたseq2seqモデルであるCASENTを提案する。 我々のモデルは、エンティティを入力として参照し、制約されたビームサーチを用いて複数のタイプを自動回帰的に生成する。 提案手法は,F1スコアとキャリブレーション誤差の点から,50倍以上の推算速度を達成しながら,従来の最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-01T20:39:12Z)
• Taxonomy Expansion for Named Entity Recognition [65.49344005894996]
  名前付きエンティティ認識(NER)モデルをトレーニングするには、しばしばエンティティタイプの分類を修正する必要がある。 単純なアプローチは、既存のエンティティタイプと追加エンティティタイプの両方でデータセット全体をアノテートすることだ。 部分的ラベルモデル(PLM)と呼ばれる,注釈付きデータセットのみを用いる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:23:46Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• Generative Entity Typing with Curriculum Learning [18.43562065432877]
  本稿では,新しい生成エンティティタイピング(GET)パラダイムを提案する。 エンティティが言及したテキストが与えられた場合、エンティティがテキストで果たす役割の複数の型は、事前訓練された言語モデルで生成される。 我々の実験は、最先端エンティティ型付けモデルよりもGETモデルの方が優れていることを正当化します。
  論文  参考訳（メタデータ） (2022-10-06T13:32:50Z)
• Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation and Instance Generation [36.541309948222306]
  各エンティティタイプに対して,アノテーション付きエンティティ参照が付与される場合,FET(Fall-shot Fine-fine Entity Typing)の問題について検討する。 そこで本稿では,(1) エンティティ型ラベル解釈モジュールが,少数ショットインスタンスとラベル階層を併用することで,タイプラベルと語彙の関連付けを自動的に学習し,(2) 型ベースのコンテキスト化インスタンス生成器は,与えられたインスタンスに基づいて新しいインスタンスを生成して,より一般化のためにトレーニングセットを拡大する,という,2つのモジュールからなる新しいFETフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-28T04:05:40Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)
• Fast Model Editing at Scale [77.69220974621425]
  MEND(Gradient Decomposition)を用いたモデルエディタネットワークを提案する。 MENDは、所望の入力出力ペアを使って、訓練済みのモデルに高速で局所的な編集を行う、小さな補助的な編集ネットワークの集合である。 MENDは100億以上のパラメータモデルであっても、1日以内で1つのGPUでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-10-21T17:41:56Z)
• Ultra-Fine Entity Typing with Weak Supervision from a Masked Language Model [39.031515304057585]
  最近、よりリッチで超微細な型セットを使用することで、きめ細かいエンティティタイピングを拡張する取り組みが行われている。 BERT Masked Language Model (MLM) を用いた超微細エンティティタイピングのためのトレーニングデータを得る。 文中の言及が与えられた場合、提案手法はBERTの入力を構築し、参照の文脈依存ハイパーネムを予測し、型ラベルとして使用することができる。
  論文  参考訳（メタデータ） (2021-06-08T04:43:28Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。