論文の概要: MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2204.04391v1
• Date: Sat, 9 Apr 2022 05:18:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 17:06:36.336222
• Title: MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective
• Title（参考訳）: MINER:情報理論から見た語彙外エンティティ認識の改善
• Authors: Xiao Wang, Shihan Dou, Limao Xiong, Yicheng Zou, Qi Zhang, Tao Gui, Liang Qiao, Zhanzhan Cheng, Xuanjing Huang
• Abstract要約: NERモデルは標準のNERベンチマークで有望な性能を達成した。 近年の研究では、従来のアプローチはエンティティ参照情報に過度に依存し、OoV(out-of-vocabulary)エンティティ認識の性能が劣っていることが示されている。 我々は、情報理論の観点からこの問題を改善するための新しいNER学習フレームワークであるMINERを提案する。
• 参考スコア（独自算出の注目度）: 57.19660234992812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NER model has achieved promising performance on standard NER benchmarks. However, recent studies show that previous approaches may over-rely on entity mention information, resulting in poor performance on out-of-vocabulary (OOV) entity recognition. In this work, we propose MINER, a novel NER learning framework, to remedy this issue from an information-theoretic perspective. The proposed approach contains two mutual information-based training objectives: i) generalizing information maximization, which enhances representation via deep understanding of context and entity surface forms; ii) superfluous information minimization, which discourages representation from rote memorizing entity names or exploiting biased cues in data. Experiments on various settings and datasets demonstrate that it achieves better performance in predicting OOV entities.
• Abstract（参考訳）: NERモデルは標準のNERベンチマークで有望な性能を達成した。 しかし、近年の研究では、従来のアプローチはエンティティ参照情報に過度に依存し、OoV(out-of-vocabulary)エンティティ認識の性能が低下する可能性があることが示されている。 本研究では,情報理論的な視点からこの問題を解決すべく,新しいner学習フレームワークであるminrを提案する。 提案手法は2つの相互情報に基づく学習目標を含む。 一 文脈及び実体面形態の深い理解を通じて表現を強化する情報最大化の一般化 二 実体名を暗記し、又はデータに偏りのある手がかりを悪用することを妨げる超流動情報最小化 さまざまな設定とデータセットの実験では、OOVエンティティの予測におけるパフォーマンスの向上が示されている。

関連論文リスト

• Evaluating Named Entity Recognition Using Few-Shot Prompting with Large Language Models [0.0]
  Few-Shot PromptingやIn-context Learningは、モデルが最小限の例でエンティティを認識できるようにする。 NERタスクにおけるGPT-4のような最先端モデルの評価を行い、その数ショットのパフォーマンスと完全に教師付きベンチマークを比較した。
  論文  参考訳（メタデータ） (2024-08-28T13:42:28Z)
• SCANNER: Knowledge-Enhanced Approach for Robust Multi-modal Named Entity Recognition of Unseen Entities [10.193908215351497]
  3つのNER変種を効果的に扱えるモデルであるSCANNERを提案する。 SCANNERは2段階構造であり、最初の段階でエンティティ候補を抽出し、知識を得るためにクエリとして使用する。 NERデータセットのノイズの多いアノテーションから生じる課題に対処するために,新しい自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-04-02T13:05:41Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Nested Named Entity Recognition as Holistic Structure Parsing [92.8397338250383]
  本研究は,文中の全入れ子NEを全体構造としてモデル化し,全体構造解析アルゴリズムを提案する。 実験により、我々のモデルは、最先端にアプローチしたり、あるいは達成したりするような、広く使われているベンチマークで有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-04-17T12:48:20Z)
• KARL-Trans-NER: Knowledge Aware Representation Learning for Named Entity Recognition using Transformers [0.0]
  名前付きエンティティ認識(NER)のための知識認識表現学習(KARL)ネットワークを提案する。 KARLは、ファクトトリプレットとして表される大きな知識ベースを利用し、それらをコンテキストに変換し、内部に存在する必須情報を抽出して、特徴拡張のためのコンテキスト化三重項表現を生成するトランスフォーマーに基づいている。 実験結果から,KARL を用いた拡張は NER システムの性能を大幅に向上させ,既存の 3 つの NER データセット(CoNLL 2003,CoNLL++,OntoNotes v5 など)の文献上のアプローチよりもはるかに優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-11-30T14:29:33Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Improving Named Entity Recognition with Attentive Ensemble of Syntactic Information [36.03316058182617]
  名前付きエンティティ認識(NER)は、セマンティック・セマンティック・セマンティック・プロパティに非常に敏感である。 本稿では,暗黙のアンサンブルによって異なるタイプの構文情報を活用することにより,NERを改善する。 6つの英語と中国語のベンチマークデータセットの実験結果から,提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-10-29T10:25:17Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。