Fugu-MT 論文翻訳(概要): Boundary Smoothing for Named Entity Recognition

論文の概要: Boundary Smoothing for Named Entity Recognition

arxiv url: http://arxiv.org/abs/2204.12031v1
Date: Tue, 26 Apr 2022 02:04:09 GMT
ステータス: 処理完了
システム内更新日: 2022-04-27 12:41:17.596967
Title: Boundary Smoothing for Named Entity Recognition
Title（参考訳）: 名前付きエンティティ認識のための境界平滑化
Authors: Enwei Zhu and Jinpeng Li
Abstract要約: 本研究では,スパンベースニューラルNERモデルの正規化手法として境界平滑化を提案する。我々のモデルは,8つの有名なNERベンチマークにおいて,従来の最先端システムと競合する結果を得る。
参考スコア（独自算出の注目度）: 1.970557100274224
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural named entity recognition (NER) models may easily encounter the over-confidence issue, which degrades the performance and calibration. Inspired by label smoothing and driven by the ambiguity of boundary annotation in NER engineering, we propose boundary smoothing as a regularization technique for span-based neural NER models. It re-assigns entity probabilities from annotated spans to the surrounding ones. Built on a simple but strong baseline, our model achieves results better than or competitive with previous state-of-the-art systems on eight well-known NER benchmarks. Further empirical analysis suggests that boundary smoothing effectively mitigates over-confidence, improves model calibration, and brings flatter neural minima and more smoothed loss landscapes.
Abstract（参考訳）: ニューラルネームエンティティ認識(NER)モデルは、性能とキャリブレーションを低下させる過信問題に容易に遭遇する可能性がある。 NER工学における境界アノテーションのあいまいさにインスパイアされたラベル平滑化により,スパンベースニューラルNERモデルの正規化手法として境界平滑化を提案する。注釈付きスパンから周囲のスパンへのエンティティの確率を再割り当てする。我々のモデルは、単純だが強力なベースライン上に構築され、8つのよく知られたNERベンチマークにおいて、従来の最先端システムと競合する結果を得る。さらに経験的な分析では、境界の平滑化は自信過剰を効果的に軽減し、モデルのキャリブレーションを改善し、より平坦なニューラルミニマとより滑らかなロスランドスケープをもたらすことを示唆している。

関連論文リスト

SCANNER: Knowledge-Enhanced Approach for Robust Multi-modal Named Entity Recognition of Unseen Entities [10.193908215351497]
3つのNER変種を効果的に扱えるモデルであるSCANNERを提案する。 SCANNERは2段階構造であり、最初の段階でエンティティ候補を抽出し、知識を得るためにクエリとして使用する。 NERデータセットのノイズの多いアノテーションから生じる課題に対処するために,新しい自己蒸留法を提案する。
論文参考訳（メタデータ） (2024-04-02T13:05:41Z)
LinkNER: Linking Local Named Entity Recognition Models to Large Language Models using Uncertainty [12.32180790849948]
名前付きエンティティ認識は、自然言語理解の基本的なタスクとして機能する。ファインチューニングされたNERモデルは標準のNERベンチマークで満足な性能を示す。しかし、微調整データに制限があり、知識が不足しているため、見当たらないエンティティ認識では不十分である。
論文参考訳（メタデータ） (2024-02-16T11:02:29Z)
Cross Entropy versus Label Smoothing: A Neural Collapse Perspective [4.099188602987316]
本稿では,強力な経験的・理論的枠組みであるNeural Collapse(NC)の観点から,スムースなラベル付けについて検討する。まず、ラベルの平滑化で訓練されたモデルは、神経崩壊解に早く収束し、より強力な神経崩壊レベルに達することを実証的に示す。
論文参考訳（メタデータ） (2024-02-06T13:16:50Z)
Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
論文参考訳（メタデータ） (2023-10-25T13:55:35Z)
SInGE: Sparsity via Integrated Gradients Estimation of Neuron Relevance [37.82255888371488]
本稿では,このニューロン除去への経路の勾配変化の積分として,各ニューロンの関連性を定義した新しい勾配解析基準を提案する。提案手法は,いくつかのデータセットやアーキテクチャ,さらにはSInGEと呼ばれるプルーニングシナリオにおいて,既存の最先端のプルーニング手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2022-07-08T18:27:42Z)
Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文参考訳（メタデータ） (2022-06-15T05:48:51Z)
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文参考訳（メタデータ） (2021-10-21T07:28:11Z)
Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文参考訳（メタデータ） (2021-09-10T17:19:56Z)
Bayesian Inference with Certifiable Adversarial Robustness [25.40092314648194]
ベイズ学習のレンズによる対向学習ネットワークについて考察する。本稿では,ベイズニューラルネットワーク(BNN)の認証保証付き対数訓練のための基本的枠組みを提案する。本手法は,認証済みBNNを直接訓練する最初の方法であり,安全クリティカルなアプリケーションでの使用を容易にする。
論文参考訳（メタデータ） (2021-02-10T07:17:49Z)
Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文参考訳（メタデータ） (2020-12-03T10:17:30Z)
Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。