論文の概要: Learning to Correct Noisy Labels for Fine-Grained Entity Typing via Co-Prediction Prompt Tuning

• arxiv url: http://arxiv.org/abs/2310.14596v1
• Date: Mon, 23 Oct 2023 06:04:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 22:07:39.056270
• Title: Learning to Correct Noisy Labels for Fine-Grained Entity Typing via Co-Prediction Prompt Tuning
• Title（参考訳）: Co-Prediction Prompt Tuningによる細粒化エンティティタイピングのための雑音ラベルの修正
• Authors: Minghao Tang, Yongquan He, Yongxiu Xu, Hongbo Xu, Wenyuan Zhang, Yang Lin
• Abstract要約: FETにおける雑音補正のためのコプレディション・プロンプト・チューニングを提案する。 ラベル付きラベルをリコールするために予測結果を統合し、区別されたマージンを用いて不正確なラベルを識別する。 広範に使われている3つのFETデータセットの実験結果から,我々のノイズ補正アプローチはトレーニングサンプルの品質を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 9.885278527023532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained entity typing (FET) is an essential task in natural language processing that aims to assign semantic types to entities in text. However, FET poses a major challenge known as the noise labeling problem, whereby current methods rely on estimating noise distribution to identify noisy labels but are confused by diverse noise distribution deviation. To address this limitation, we introduce Co-Prediction Prompt Tuning for noise correction in FET, which leverages multiple prediction results to identify and correct noisy labels. Specifically, we integrate prediction results to recall labeled labels and utilize a differentiated margin to identify inaccurate labels. Moreover, we design an optimization objective concerning divergent co-predictions during fine-tuning, ensuring that the model captures sufficient information and maintains robustness in noise identification. Experimental results on three widely-used FET datasets demonstrate that our noise correction approach significantly enhances the quality of various types of training samples, including those annotated using distant supervision, ChatGPT, and crowdsourcing.
• Abstract（参考訳）: 細粒度エンティティタイピング(FET)は、テキスト内のエンティティにセマンティックタイプを割り当てることを目的とした自然言語処理において不可欠なタスクである。 しかし、fetはノイズラベリング問題として知られる大きな課題であり、現在の手法ではノイズの分布を推定してノイズのラベルを識別するが、様々なノイズの分布偏差によって混乱する。 この制限に対処するために、FETにおける雑音補正のための共予測プロンプトチューニング(Co-Prediction Prompt Tuning)を導入する。 具体的には、ラベル付きラベルのリコールに予測結果を統合し、区別されたマージンを用いて不正確なラベルを識別する。 さらに,モデルが十分な情報を取得し,雑音同定におけるロバスト性を維持するように,微調整時の発散予測に関する最適化目標を考案する。 3種類のfetデータセットを用いた実験結果から,ノイズ補正手法は,遠隔監視やチャットgpt,クラウドソーシングなど,さまざまなトレーニングサンプルの品質を著しく向上させることがわかった。

関連論文リスト

• A Conformal Prediction Score that is Robust to Label Noise [13.22445242068721]
  ラベルノイズに頑健なコンフォメーションスコアを導入する。 ノイズラベル付きデータとノイズレベルを用いて、ノイズフリーコンフォメーションスコアを推定する。 提案手法は,予測セットの平均サイズにおいて,現在の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-04T12:22:02Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Label Noise: Correcting the Forward-Correction [0.0]
  ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処する手法を提案する。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
  論文  参考訳（メタデータ） (2023-07-24T19:41:19Z)
• Handling Realistic Label Noise in BERT Text Classification [1.0515439489916731]
  実ラベルノイズはランダムではなく、入力特徴や他のアノテータ固有の要因と相関することが多い。 これらのノイズの存在がBERT分類性能を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2023-05-23T18:30:31Z)
• Denoising Enhanced Distantly Supervised Ultrafine Entity Typing [36.14308856513851]
  本研究では,未知のラベル付き雑音分布を入力コンテキストおよび雑音型ラベル上で推定するノイズモデルを構築した。 ノイズモデルにより、推定ノイズを入力から減じることで、より信頼できるラベルを復元することができる。 本稿では,バイエンコーダアーキテクチャを採用したエンティティ型付けモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-18T05:20:16Z)
• Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
  ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。 従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。 本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T02:06:38Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。