論文の概要: Uncertainty-Aware Bootstrap Learning for Joint Extraction on Distantly-Supervised Data

• arxiv url: http://arxiv.org/abs/2305.03827v2
• Date: Thu, 8 Jun 2023 22:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 17:08:23.186852
• Title: Uncertainty-Aware Bootstrap Learning for Joint Extraction on Distantly-Supervised Data
• Title（参考訳）: 遠隔教師データを用いた統合抽出のための不確実性を考慮したブートストラップ学習
• Authors: Yufei Li, Xiao Yu, Yanchi Liu, Haifeng Chen, Cong Liu
• Abstract要約: ブートストラップ学習は、インスタンスの不確実性が高ければ高いほど、モデルの信頼性は基礎的な真実と矛盾する可能性が高いという直感によって動機付けられます。 まず、まずインスタンスレベルのデータ不確実性を調べて、信頼度の高い最初の例を作成します。 ブートストラップ学習において,ノイズラベルが生成するモデル間不確実性を軽減するために,正規化器としての自己認識を提案する。
• 参考スコア（独自算出の注目度）: 36.54640096189285
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Jointly extracting entity pairs and their relations is challenging when working on distantly-supervised data with ambiguous or noisy labels. To mitigate such impact, we propose uncertainty-aware bootstrap learning, which is motivated by the intuition that the higher uncertainty of an instance, the more likely the model confidence is inconsistent with the ground truths. Specifically, we first explore instance-level data uncertainty to create an initial high-confident examples. Such subset serves as filtering noisy instances and facilitating the model to converge fast at the early stage. During bootstrap learning, we propose self-ensembling as a regularizer to alleviate inter-model uncertainty produced by noisy labels. We further define probability variance of joint tagging probabilities to estimate inner-model parametric uncertainty, which is used to select and build up new reliable training instances for the next iteration. Experimental results on two large datasets reveal that our approach outperforms existing strong baselines and related methods.
• Abstract（参考訳）: エンティティペアとその関係を共同で抽出することは、あいまいまたは騒がしいラベルを持つ遠方の教師付きデータを扱う際に困難である。 そこで本研究では,不確実性が高まるほど,モデルの信頼感は根拠の真理と矛盾する可能性が高まるという直観に基づく,不確実性認識型ブートストラップ学習を提案する。 具体的には、まずインスタンスレベルのデータ不確実性を調査して、最初の高信頼な例を作成します。 このようなサブセットは、ノイズの多いインスタンスをフィルタリングし、初期の段階でモデルを高速に収束させるのに役立つ。 ブートストラップ学習中に,ノイズラベルによるモデル間の不確実性を軽減するための正規化として,自己センシングを提案する。 さらに,新たな信頼性トレーニングインスタンスの選択と構築に使用される内部モデルパラメトリック不確かさを推定するために,共同タグ付け確率の確率分散を定義する。 2つの大きなデータセットの実験結果から、我々のアプローチは既存の強いベースラインや関連する手法よりも優れていることが判明した。

関連論文リスト

• Uncertainty-aware self-training with expectation maximization basis transformation [9.7527450662978]
  モデルとデータセットの両方の不確実性情報を組み合わせるための,新たな自己学習フレームワークを提案する。 具体的には,ラベルをスムースにし,不確実性情報を包括的に推定するために期待最大化(EM)を提案する。
  論文  参考訳（メタデータ） (2024-05-02T11:01:31Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Overcoming Overconfidence for Active Learning [1.2776312584227847]
  本稿では,アクティブな学習シナリオで発生する過信の問題に対処する2つの新しい手法を提案する。 1つ目はCross-Mix-and-Mix(CMaM)と呼ばれる拡張戦略で、限られたトレーニング分布を拡張してモデルを校正することを目的としている。 2つ目は Ranked Margin Sampling (RankedMS) という選択戦略である。
  論文  参考訳（メタデータ） (2023-08-21T09:04:54Z)
• Open Set Relation Extraction via Unknown-Aware Training [72.10462476890784]
  負のインスタンスを動的に合成することでモデルを正規化する未知の学習手法を提案する。 テキストの敵対的攻撃に触発されて、我々は適応的に、小さいが重要な摂動を元のトレーニングインスタンスに適用する。 実験結果から, 既知の関係の分類を損なうことなく, 未知の関係検出を行うことができた。
  論文  参考訳（メタデータ） (2023-06-08T05:45:25Z)
• Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance [7.411571833582691]
  このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。 埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-19T15:44:59Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Learning from Similarity-Confidence Data [94.94650350944377]
  類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。 本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2021-02-13T07:31:16Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。