論文の概要: A Rigorous Study on Named Entity Recognition: Can Fine-tuning Pretrained Model Lead to the Promised Land?

• arxiv url: http://arxiv.org/abs/2004.12126v2
• Date: Fri, 23 Oct 2020 07:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 21:42:34.361535
• Title: A Rigorous Study on Named Entity Recognition: Can Fine-tuning Pretrained Model Lead to the Promised Land?
• Title（参考訳）: 名前付きエンティティ認識に関する厳密な研究:細調整事前学習モデルが約束地へ導くか?
• Authors: Hongyu Lin, Yaojie Lu, Jialong Tang, Xianpei Han, Le Sun, Zhicheng Wei, Nicholas Jing Yuan
• Abstract要約: 微調整事前訓練モデルは標準のNERベンチマークで有望な性能を達成した。 残念ながら、NERをオープンな状況にスケールする場合、これらの利点はもはや存在しないかもしれない。 本稿では,標準ベンチマーク上でランダム化テストを実施することを提案する。
• 参考スコア（独自算出の注目度）: 44.87003366511073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pretrained model has achieved promising performance on standard NER benchmarks. Generally, these benchmarks are blessed with strong name regularity, high mention coverage and sufficient context diversity. Unfortunately, when scaling NER to open situations, these advantages may no longer exist. And therefore it raises a critical question of whether previous creditable approaches can still work well when facing these challenges. As there is no currently available dataset to investigate this problem, this paper proposes to conduct randomization test on standard benchmarks. Specifically, we erase name regularity, mention coverage and context diversity respectively from the benchmarks, in order to explore their impact on the generalization ability of models. To further verify our conclusions, we also construct a new open NER dataset that focuses on entity types with weaker name regularity and lower mention coverage to verify our conclusion. From both randomization test and empirical experiments, we draw the conclusions that 1) name regularity is critical for the models to generalize to unseen mentions; 2) high mention coverage may undermine the model generalization ability and 3) context patterns may not require enormous data to capture when using pretrained encoders.
• Abstract（参考訳）: 微調整事前訓練モデルは標準のNERベンチマークで有望な性能を達成した。 一般的に、これらのベンチマークは、強い名前の規則性、高い言及カバレッジ、十分なコンテキスト多様性に恵まれている。 残念ながら、NERをオープンな状況にスケールする場合、これらの利点はもはや存在しないかもしれない。 それゆえ、これらの課題に直面した場合でも、これまでのクレジット可能なアプローチがうまく機能するかどうかという重要な疑問を提起する。 この問題を調査するためのデータセットが現在存在しないため,本研究では,標準ベンチマーク上でランダム化テストを実施することを提案する。 具体的には、モデルの一般化能力への影響を調べるため、各ベンチマークから名前の正則性、カバレッジ、コンテキストの多様性を消去する。 結論をさらに検証するために、より弱い名前の規則性と低い参照カバレッジを持つエンティティタイプに焦点を当てた新しいオープンnerデータセットを構築し、結論を検証します。 ランダム化テストと経験実験の両方から、我々は結論を導き出す。 1) 名称の正則性は,モデルが未確認の言及を一般化するために重要である。 2)モデル一般化能力を損なうおそれがあり得ること。 3) プリトレーニングエンコーダを使用する場合,コンテキストパターンには膨大なデータを必要としない場合がある。

関連論文リスト

• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• The Decaying Missing-at-Random Framework: Doubly Robust Causal Inference with Partially Labeled Data [10.021381302215062]
  現実のシナリオでは、データ収集の制限によって部分的にラベル付けされたデータセットが生成されることが多く、信頼性の高い因果推論の描画が困難になる。 半パラメトリック(SS)や欠落したデータ文学における従来のアプローチは、これらの複雑さを適切に扱えないため、偏りのある見積もりにつながる可能性がある。 このフレームワークは、高次元設定における欠落した結果に対処し、選択バイアスを考慮に入れます。
  論文  参考訳（メタデータ） (2023-05-22T07:37:12Z)
• Can NLP Models Correctly Reason Over Contexts that Break the Common Assumptions? [14.991565484636745]
  我々は,NLPモデルが一般的な仮定を破る文脈を正しく推論する能力について検討する。 一般的な仮定に従うコンテキストでかなりうまく機能する一方で、モデルはこれらの仮定を破るコンテキストに対して正しく推論するのに苦労しています。 具体的には、パフォーマンスギャップは20%の絶対点である。
  論文  参考訳（メタデータ） (2023-05-20T05:20:37Z)
• Testing for Overfitting [0.0]
  オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。 本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
  論文  参考訳（メタデータ） (2023-05-09T22:49:55Z)
• Entity Disambiguation with Entity Definitions [50.01142092276296]
  ローカルモデルはEntity Disambiguation (ED)で最近驚くべきパフォーマンスを達成した それまでの研究は、各候補者のテキスト表現として、ウィキペディアのタイトルのみを使うことに限られていた。 本稿では、この制限に対処し、より表現力のあるテキスト表現がそれを緩和できる範囲について検討する。 提案する6つのベンチマークのうち2つに新たな技術の現状を報告し,未知のパターンに対する一般化能力を強く改善する。
  論文  参考訳（メタデータ） (2022-10-11T17:46:28Z)
• Context-aware Adversarial Training for Name Regularity Bias in Named Entity Recognition [8.344476599818826]
  NERモデルの正規性バイアスを診断するための新しいテストベッドであるNRBを紹介する。 我々の結果は、我々がテストしたすべての最先端モデルにそのようなバイアスがあることを示唆している。 本稿では,学習可能な敵対的ノイズを一部のエンティティに付加する,新しいモデルに依存しない訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-07-24T13:55:35Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• Regularizing Models via Pointwise Mutual Information for Named Entity Recognition [17.767466724342064]
  ドメイン内での性能を向上しつつ、一般化能力を高めるために、PMI(Pointwise Mutual Information)を提案する。 提案手法により,ベンチマークデータセットの単語とラベルの相関度を高く抑えることができる。 長い名前と複雑な構造を持つエンティティに対して、これらのエンティティは協調的あるいは特別な文字の偏りによって予測できる。
  論文  参考訳（メタデータ） (2021-04-15T05:47:27Z)
• A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution [55.39835612617972]
  PCR(Pronoun Coreference Resolution)は、プロノミナルな表現を、それらが参照するすべての言及に対して解決するタスクである。 1つの重要な自然言語理解(NLU)コンポーネントとして、代名詞分解は多くの下流タスクにおいて不可欠であり、既存のモデルでは依然として困難である。 我々は、現在のモデルが標準評価セットで優れたパフォーマンスを達成しているにもかかわらず、実際のアプリケーションで使用する準備ができていないことを示すために、広範な実験を行っている。
  論文  参考訳（メタデータ） (2020-09-27T01:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。