論文の概要: AUC Maximization for Low-Resource Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2212.04800v1
• Date: Fri, 9 Dec 2022 12:06:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 14:08:58.229715
• Title: AUC Maximization for Low-Resource Named Entity Recognition
• Title（参考訳）: 低リソースエンティティ認識のためのauc最大化
• Authors: Ngoc Dang Nguyen, Wei Tan, Wray Buntine, Richard Beare, Changyou Chen and Lan Du
• Abstract要約: 名前付きエンティティ認識(NER)における現在の研究は、クロスエントロピー(CE)または条件付きランダムフィールド(CRF)を目的/剰余関数として使用している。 我々は,AUCスコアを最大化し,NERモデルの最適化を提案する。
• 参考スコア（独自算出の注目度）: 37.31342703194106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current work in named entity recognition (NER) uses either cross entropy (CE) or conditional random fields (CRF) as the objective/loss functions to optimize the underlying NER model. Both of these traditional objective functions for the NER problem generally produce adequate performance when the data distribution is balanced and there are sufficient annotated training examples. But since NER is inherently an imbalanced tagging problem, the model performance under the low-resource settings could suffer using these standard objective functions. Based on recent advances in area under the ROC curve (AUC) maximization, we propose to optimize the NER model by maximizing the AUC score. We give evidence that by simply combining two binary-classifiers that maximize the AUC score, significant performance improvement over traditional loss functions is achieved under low-resource NER settings. We also conduct extensive experiments to demonstrate the advantages of our method under the low-resource and highly-imbalanced data distribution settings. To the best of our knowledge, this is the first work that brings AUC maximization to the NER setting. Furthermore, we show that our method is agnostic to different types of NER embeddings, models and domains. The code to replicate this work will be provided upon request.
• Abstract（参考訳）: 名前付きエンティティ認識 (NER) における現在の研究は、クロスエントロピー (CE) または条件付きランダムフィールド (CRF) を、基礎となるNERモデルの最適化に用いている。 NER問題に対するこれらの伝統的な目的関数は、データ分散のバランスが取れ、十分なアノテートトレーニング例が存在する場合、一般的に適切なパフォーマンスをもたらす。 しかし、NERは本質的に不均衡なタグ付け問題であるため、低リソース設定下でのモデル性能は、これらの標準目的関数を使用すると損なわれる可能性がある。 ROC曲線(AUC)の最大化による領域の最近の進歩に基づき,AUCスコアの最大化によるNERモデルの最適化を提案する。 AUCスコアを最大化する2つのバイナリ分類器を組み合わせることで、低リソースNER設定下で従来の損失関数に対する大幅な性能向上が達成されることを示す。 また,低リソースかつ高不均衡なデータ分散設定下で,本手法の利点を実証するための広範な実験を行った。 私たちの知る限りでは、これがNER設定にAUCの最大化をもたらす最初の仕事です。 さらに,本手法は異なる種類のNER埋め込み,モデル,ドメインに依存しないことを示す。 この作業を複製するコードは、リクエストに応じて提供される。

関連論文リスト

• RECOMBINER: Robust and Enhanced Compression with Bayesian Implicit Neural Representations [8.417694229876371]
  COMBINERは量子化を回避し、レート歪み性能の直接最適化を可能にする。 我々は,COMBINERの限界を克服するために,Robust and Enhanced COMBINER (RECOMBINER)を提案する。 我々は,RECOMBINERがINRベースの最良の手法と競合し,低解像度画像上でのオートエンコーダベースのコーデックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-29T12:27:15Z)
• Stochastic Methods for AUC Optimization subject to AUC-based Fairness Constraints [51.12047280149546]
  公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。 フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。 フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-23T22:29:08Z)
• On the Effective Usage of Priors in RSS-based Localization [56.68864078417909]
  本稿では、受信信号強度(RSS)指紋と畳み込みニューラルネットワークに基づくアルゴリズムLocUNetを提案する。 本稿では,密集市街地における局所化問題について検討する。 まず,LocUNetがRx位置やRxの事前分布を学習し,トレーニングデータから送信者(Tx)アソシエーションの好みを学習し,その性能を評価できることを示す。
  論文  参考訳（メタデータ） (2022-11-28T00:31:02Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• Boosting the Generalization Capability in Cross-Domain Few-shot Learning via Noise-enhanced Supervised Autoencoder [23.860842627883187]
  我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。 NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。 また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
  論文  参考訳（メタデータ） (2021-08-11T04:45:56Z)
• Context-aware Adversarial Training for Name Regularity Bias in Named Entity Recognition [8.344476599818826]
  NERモデルの正規性バイアスを診断するための新しいテストベッドであるNRBを紹介する。 我々の結果は、我々がテストしたすべての最先端モデルにそのようなバイアスがあることを示唆している。 本稿では,学習可能な敵対的ノイズを一部のエンティティに付加する,新しいモデルに依存しない訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-07-24T13:55:35Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• Adaptive Name Entity Recognition under Highly Unbalanced Data [5.575448433529451]
  我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。 WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-10T06:56:52Z)
• A Distributionally Robust Area Under Curve Maximization Model [1.370633147306388]
  我々は2つの新しい分散ロバストなAUCモデル(DR-AUC)を提案する。 DR-AUCモデルは関東ロビッチ計量に依存し、AUCとヒンジ損失関数を近似する。 数値実験により,提案したDR-AUCモデルは一般に性能が向上し,特に最悪のアウト・オブ・サンプル性能が向上することが示された。
  論文  参考訳（メタデータ） (2020-02-18T02:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。