論文の概要: A Realistic Study of Auto-regressive Language Models for Named Entity Typing and Recognition

• arxiv url: http://arxiv.org/abs/2108.11857v1
• Date: Thu, 26 Aug 2021 15:29:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 17:27:06.461008
• Title: A Realistic Study of Auto-regressive Language Models for Named Entity Typing and Recognition
• Title（参考訳）: 名前付きエンティティ型付けと認識のための自己回帰型言語モデルの一検討
• Authors: Elena V. Epure, Romain Hennequin
• Abstract要約: メタ学習装置を用いて、名前付きエンティティ認識のための事前学習言語モデルについて検討する。 まず、ゼロショット転送シナリオにおいて、名前付きエンティティ型付け(NET)をテストする。次に、推論の例をいくつか挙げて、NERを実行する。 本稿では,事前学習したモデルにのみアクセス可能で,これらのグループについて報告する際,見知らぬ名前や稀な名前を選択する手法を提案する。
• 参考スコア（独自算出の注目度）: 7.345578385749421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite impressive results of language models for named entity recognition (NER), their generalization to varied textual genres, a growing entity type set, and new entities remains a challenge. Collecting thousands of annotations in each new case for training or fine-tuning is expensive and time-consuming. In contrast, humans can easily identify named entities given some simple instructions. Inspired by this, we challenge the reliance on large datasets and study pre-trained language models for NER in a meta-learning setup. First, we test named entity typing (NET) in a zero-shot transfer scenario. Then, we perform NER by giving few examples at inference. We propose a method to select seen and rare / unseen names when having access only to the pre-trained model and report results on these groups. The results show: auto-regressive language models as meta-learners can perform NET and NER fairly well especially for regular or seen names; name irregularity when often present for a certain entity type can become an effective exploitable cue; names with words foreign to the model have the most negative impact on results; the model seems to rely more on name than context cues in few-shot NER.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)のための言語モデルの印象的な結果にもかかわらず、様々なテキストジャンルへの一般化、エンティティタイプセットの増加、新しいエンティティは依然として課題である。 新しいケースでトレーニングや微調整のために数千のアノテーションを収集するのは、高価で時間を要する。 対照的に、人間は簡単な指示で名前のついた実体を容易に識別できる。 これに触発されて、我々は大規模なデータセットへの依存に挑戦し、メタ学習設定でNERのための事前学習言語モデルの研究を行う。 まず、ゼロショット転送シナリオで名前付きエンティティタイプ(net)をテストする。 そして、推論の例をほとんど示さずにNERを実行する。 本稿では,事前学習したモデルにのみアクセス可能で,これらのグループについて報告する際,見知らぬ名前と稀な名前を選択する手法を提案する。 メタ学習者としての自動回帰言語モデルは、特に通常の名前や見慣れた名前に対して、かなりよくNETとNERを実行できる;名前の不規則性は、特定のエンティティタイプにしばしば現れる場合、効果的に悪用できるキューになりうる;モデル以外の単語が結果に最も悪影響を及ぼす;モデルは、数ショットのNERにおけるコンテキストキューよりも、名前に頼っているようだ。

関連論文リスト

• Evaluating Named Entity Recognition Using Few-Shot Prompting with Large Language Models [0.0]
  Few-Shot PromptingやIn-context Learningは、モデルが最小限の例でエンティティを認識できるようにする。 NERタスクにおけるGPT-4のような最先端モデルの評価を行い、その数ショットのパフォーマンスと完全に教師付きベンチマークを比較した。
  論文  参考訳（メタデータ） (2024-08-28T13:42:28Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Large-Scale Label Interpretation Learning for Few-Shot Named Entity Recognition [5.262708162539423]
  名前付きエンティティ認識(NER)は、わずかな例だけでテキスト内の名前付きエンティティを検出する。 有望な研究の1つの行は、各エンティティタイプの自然言語記述を活用することである。 本稿では,新しい実体型の言語化を解釈する前に,強い意味が与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T08:22:44Z)
• Multicultural Name Recognition For Previously Unseen Names [65.268245109828]
  本論文は、人名の認識を改善することを目的としており、それは、誰かが生まれたり、名前を変えたりする際にも、成長できる多様なカテゴリーである。 私は103か国の名前を見て、モデルが異なる文化の名前でどれだけうまく機能するかを比較します。 文字入力と単語入力を組み合わせたモデルの方が単語のみのモデルより優れており,従来のNERモデルと比較して精度が向上する可能性がある。
  論文  参考訳（メタデータ） (2024-01-23T17:58:38Z)
• Less than One-shot: Named Entity Recognition via Extremely Weak Supervision [46.81604901567282]
  極端に弱い監督環境下で、名前付きエンティティ認識問題について検討する。 そこで本稿では,最先端のワンショットNER法より優れたX-NERを提案する。 X-NERは、基礎となる言語モデルの言語間能力の継承など、いくつかの特筆すべき特性を持っている。
  論文  参考訳（メタデータ） (2023-11-06T04:20:42Z)
• Learning to Name Classes for Vision and Language Models [57.0059455405424]
  大規模な視覚と言語モデルは、クラス固有のテキストクエリを画像コンテンツにマッピングすることで、印象的なゼロショット認識性能を達成することができる。 視覚的コンテンツの機能として,各クラスに対して最適な単語埋め込みを学習するために,利用可能なデータを活用することを提案する。 凍結したモデルに新しい単語の埋め込みを学習することで、新しいクラスに対してゼロショットの能力を保ち、新しいデータセットにモデルを適応しやすくし、潜在的に誤った、非記述的、曖昧なクラス名を調整することができる。
  論文  参考訳（メタデータ） (2023-04-04T14:34:44Z)
• Simple Questions Generate Named Entity Recognition Datasets [18.743889213075274]
  この研究は、単純な自然言語の質問によってNERデータセットを自動的に生成する、要求対生成のアプローチを導入している。 我々のモデルは、4つの異なる領域にわたる6つのNERベンチマークにおいて、以前の弱い教師付きモデルよりも大幅に優れています。 自然言語でNERのニーズを定式化することで、アワードのようなきめ細かいエンティティタイプのためのNERモデルを構築することもできます。
  論文  参考訳（メタデータ） (2021-12-16T11:44:38Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)
• Empower Entity Set Expansion via Language Model Probing [58.78909391545238]
  既存の拡張方法は、コンテキスト特徴を適応的に選択し、新しいエンティティを抽出することで、シードエンティティをブートストラップする。 エンティティセット拡張の鍵となる課題は、クラスセマンティクスをシフトし、後のイテレーションで累積エラーにつながる曖昧なコンテキスト機能を選択することを避けることである。 セマンティックドリフト問題に対処するために、自動生成されたクラス名を活用する新しい反復的集合拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-29T00:09:43Z)
• Zero-Resource Cross-Domain Named Entity Recognition [68.83177074227598]
  既存のドメイン名付きエンティティ認識モデルは、多くのラベルなしコーパスや、ターゲットドメイン内のラベル付きNERトレーニングデータに依存している。 外部リソースを一切使用しないドメイン間NERモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-14T09:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。