論文の概要: Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model

• arxiv url: http://arxiv.org/abs/2106.09234v1
• Date: Thu, 17 Jun 2021 04:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 04:30:53.552988
• Title: Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model
• Title（参考訳）: 超幾何学的確率モデルによる遠方教師付き名前付きエンティティ認識
• Authors: Wenkai Zhang, Hongyu Lin, Xianpei Han, Le Sun, Huidan Liu, Zhicheng Wei, Nicholas Jing Yuan
• Abstract要約: ハイパージオメトリ・ラーニング(HGL)は、遠距離教師付きエンティティ認識のための認知アルゴリズムである。 HGLはノイズ分布とインスタンスレベルの信頼性の両方を考慮に入れている。 実験により、HGLは遠方の監督から取得した弱いラベル付きデータを効果的に復調できることが示された。
• 参考スコア（独自算出の注目度）: 26.76830553508229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising is the essential step for distant supervision based named entity recognition. Previous denoising methods are mostly based on instance-level confidence statistics, which ignore the variety of the underlying noise distribution on different datasets and entity types. This makes them difficult to be adapted to high noise rate settings. In this paper, we propose Hypergeometric Learning (HGL), a denoising algorithm for distantly supervised NER that takes both noise distribution and instance-level confidence into consideration. Specifically, during neural network training, we naturally model the noise samples in each batch following a hypergeometric distribution parameterized by the noise-rate. Then each instance in the batch is regarded as either correct or noisy one according to its label confidence derived from previous training step, as well as the noise distribution in this sampled batch. Experiments show that HGL can effectively denoise the weakly-labeled data retrieved from distant supervision, and therefore results in significant improvements on the trained models.
• Abstract（参考訳）: デノナイジングは、遠隔監視に基づくエンティティ認識にとって不可欠なステップである。 従来は、さまざまなデータセットやエンティティタイプに基づくノイズ分布の多様性を無視した、インスタンスレベルの信頼性統計に基づいていた。 これにより、高いノイズレート設定に適応することが困難になる。 本稿では,雑音分布とインスタンスレベルの信頼度を考慮した遠距離教師付きNERの認知アルゴリズムであるHypergeometric Learning (HGL)を提案する。 具体的には、ニューラルネットワークのトレーニング中に、ノイズレートによってパラメータ化されたハイパージオメトリック分布に従って、各バッチ内のノイズサンプルを自然にモデル化する。 そして、前記バッチ内の各インスタンスは、前回のトレーニングステップから得られたラベル信頼度と、このサンプルバッチ内のノイズ分布に基づいて、正しいかノイズのどちらかと見なされる。 実験により、HGLは遠隔監視から取得した弱いラベル付きデータを効果的に復調することができ、訓練されたモデルに大幅な改善をもたらすことが示された。

関連論文リスト

• Robustness Enhancement in Neural Networks with Alpha-Stable Training Noise [0.0]
  本研究では,非ガウス音,特にアルファ安定雑音に対する強い強靭性の可能性について検討する。 ガウス雑音とアルファ安定雑音で訓練したモデルの試験精度を比較することで,ガウス雑音よりもアルファ安定雑音で訓練した方が有効であることがわかった。 トレーニングデータに通常付加されるガウス雑音をアルファ安定雑音で置き換える新しいデータ拡張法を提案する。
  論文  参考訳（メタデータ） (2023-11-17T10:00:47Z)
• DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
  生成学習の観点からSED問題を再構築する。 具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。 トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
  論文  参考訳（メタデータ） (2023-08-14T17:29:41Z)
• Label Noise: Correcting the Forward-Correction [0.0]
  ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処する手法を提案する。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
  論文  参考訳（メタデータ） (2023-07-24T19:41:19Z)
• Instance-dependent Noisy-label Learning with Graphical Model Based Noise-rate Estimation [16.283722126438125]
  ラベルノイズ学習(LNL)は、クリーンでノイズの多いラベルサンプルを区別するためにサンプル選択段階を組み込む。 このようなカリキュラムは、トレーニングセットの実際のラベルノイズ率を考慮していないため、準最適である。 本稿では,ほとんどのSOTA (State-of-the-art) LNL法と容易に統合できる新しいノイズレート推定法を用いて,この問題に対処する。
  論文  参考訳（メタデータ） (2023-05-31T01:46:14Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Deep Variation Prior: Joint Image Denoising and Noise Variance Estimation without Clean Data [2.3061446605472558]
  本稿では,1つの共同学習フレームワークにおける画像復調と雑音分散推定の課題について検討する。 我々は、教師なしのディープラーニングフレームワークであるDVPを構築し、デノイザを同時に学習し、ノイズ分散を推定する。 提案手法では, クリーンなトレーニング画像やノイズ推定の外部ステップは必要とせず, ノイズ画像のみを用いて最小2乗誤差を近似する。
  論文  参考訳（メタデータ） (2022-09-19T17:29:32Z)
• Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
  ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。 従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。 本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T02:06:38Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Confidence Scores Make Instance-dependent Label-noise Learning Possible [129.84497190791103]
  ノイズのあるラベルで学習する際、そのラベルはノイズモデルと呼ばれる遷移分布に従ってランダムに他のクラスに移動することができる。 我々は、各インスタンスラベル対に信頼スコアを付与する、信頼スコア付きインスタンス依存ノイズ(CSIDN)を導入する。 信頼性スコアの助けを借りて、各インスタンスの遷移分布を推定できる。
  論文  参考訳（メタデータ） (2020-01-11T16:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。