論文の概要: BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2105.12848v1
• Date: Wed, 26 May 2021 21:18:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-29 11:04:42.643259
• Title: BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition
• Title（参考訳）: マルチソース弱教師付き名前付きエンティティ認識のための隠れマルコフモデルの作成
• Authors: Yinghao Li, Pranav Shetty, Lucas Liu, Chao Zhang, Le Song
• Abstract要約: 条件付き隠れマルコフモデル(CHMM) CHMMは、入力トークンのBERT埋め込みからトークン単位の遷移と放出確率を予測する。 BERTベースのNERモデルを微調整し、ラベルをCHMMで推論する。
• 参考スコア（独自算出の注目度）: 57.2201011783393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of learning a named entity recognition (NER) model using noisy la-bels from multiple weak supervision sources. Though cheaper than human annotators, weak sources usually yield incomplete, inaccurate, or contradictory predictions. To address such challenges, we propose a conditional hidden Markov model (CHMM). It inherits the hidden Markov model's ability to aggregating the labels from weak sources through unsupervised learning. However, CHMM enhances the hidden Markov model's flexibility and context representation capability by predicting token-wise transition and emission probabilities from the BERT embeddings of the input tokens. In addition, we refine CHMM's prediction with an alternate-training approach (CHMM-AlT). It fine-tunes a BERT-based NER model with the labels inferred by CHMM, and this BERT-NER's output is regarded as an additional weak source to train the CHMM in return. Evaluation on four datasets from various domains shows that our method is superior to the weakly super-vised baselines by a wide margin.
• Abstract（参考訳）: 複数の弱監督源からノイズの多いラベルを用いて、名前付きエンティティ認識(NER)モデルを学習する問題について検討する。 人間よりも安価だが、弱い情報源は通常不完全、不正確、または矛盾した予測をもたらす。 このような課題に対処するために,条件付き隠れマルコフモデル(CHMM)を提案する。 それは、教師なし学習を通じて弱いソースからラベルを集約する隠れマルコフモデルの能力を継承する。 しかし、CHMMは、入力トークンのBERT埋め込みからトークン単位の遷移と放出確率を予測することにより、隠れマルコフモデルの柔軟性とコンテキスト表現能力を高める。 さらに,CHMMの予測を交互学習アプローチ(CHMM-AlT)で洗練する。 BERTベースのNERモデルをCHMMによって推論されたラベルで微調整し、このBERT-NERの出力はCHMMを訓練するための追加の弱いソースと見なされる。 種々の領域から得られた4つのデータセットの評価から,本手法は弱視下ベースラインよりも広いマージンで優れていることが示された。

関連論文リスト

• Unsupervised Learning of Harmonic Analysis Based on Neural HSMM with Code Quality Templates [0.3233195475347961]
  本論文では,隠れ半マルコフモデルに基づく調和解析の教師なし学習法を提案する。 マルコフモデルの遷移確率に基づいて,先行知識のないトニックの認識方法を示す。
  論文  参考訳（メタデータ） (2024-03-07T01:29:48Z)
• From Self-Attention to Markov Models: Unveiling the Dynamics of Generative Transformers [41.82477691012942]
  本研究では,一連のプロンプトと関連する出力データから1層自己注意モデルを学習する。 まず、自己注意機構とマルコフモデルとの正確なマッピングを確立する。 我々は,自己注意による生成過程が崩壊し,トークンの限られた部分集合をサンプリングする,興味深い勝者とあらゆる現象を特徴付ける。
  論文  参考訳（メタデータ） (2024-02-21T03:51:34Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Sparse Conditional Hidden Markov Model for Weakly Supervised Named Entity Recognition [68.68300358332156]
  雑音ラベリング機能を評価するために,スパース条件付き隠れマルコフモデル(Sparse-CHMM)を提案する。 Sparse-CHMMは、3段階のトレーニングパイプラインで教師なし学習によって最適化される。 5つの包括的なデータセットで平均F1スコアが3.01向上する。
  論文  参考訳（メタデータ） (2022-05-27T20:47:30Z)
• Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
  本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。 弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。 これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
  論文  参考訳（メタデータ） (2022-03-22T20:24:21Z)
• Robust Classification using Hidden Markov Models and Mixtures of Normalizing Flows [25.543231171094384]
  我々は,隠れマルコフモデル(HMM)の状態遷移と,隠れたHMMの状態に対するニューラルネットワークに基づく確率分布を組み合わせた生成モデルを用いる。 音声認識への応用におけるNMM-HMM分類器の堅牢性の改善を検証する。
  論文  参考訳（メタデータ） (2021-02-15T00:40:30Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Reliable Time Prediction in the Markov Stochastic Block Model [0.0]
  成長するグラフの依存構造をMSBMを用いて検出する方法を示す。 本稿では,いわゆるリンク予測と協調フィルタリングの問題を解決する方法を提案する。
  論文  参考訳（メタデータ） (2020-04-09T07:58:02Z)
• Semi-supervised Learning Meets Factorization: Learning to Recommend with Chain Graph Model [16.007141894770054]
  潜在因子モデル(LFM)は、優れたパフォーマンスとスケーラビリティのために、レコメンデーションシステムにおいて多くの注目を集めています。 半教師付き学習(SSL)は、ラベル(評価)の空間性の問題を軽減する効果的な方法を提供する。 SSL と LFM を結合する新しい確率的連鎖グラフモデル (CGM) を提案する。
  論文  参考訳（メタデータ） (2020-03-05T06:34:53Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。