Fugu-MT 論文翻訳(概要): Detecting Label Errors using Pre-Trained Language Models

論文の概要: Detecting Label Errors using Pre-Trained Language Models

arxiv url: http://arxiv.org/abs/2205.12702v1
Date: Wed, 25 May 2022 11:59:39 GMT
ステータス: 処理完了
システム内更新日: 2022-05-26 22:07:46.520749
Title: Detecting Label Errors using Pre-Trained Language Models
Title（参考訳）: 事前学習言語モデルを用いたラベル誤りの検出
Authors: Derek Chong, Jenny Hong, Christopher D. Manning
Abstract要約: 学習済みの大規模言語モデルでは,データセットのラベルエラーを識別する能力が非常に高いことを示す。クラウドソーシングされたデータからリアルで人間指向のラベルノイズを生成するための新しい手法を提案し,この手法の有効性をTweetNLP上で実証する。
参考スコア（独自算出の注目度）: 37.82128817976385
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We show that large pre-trained language models are extremely capable of identifying label errors in datasets: simply verifying data points in descending order of out-of-distribution loss significantly outperforms more complex mechanisms for detecting label errors on natural language datasets. We contribute a novel method to produce highly realistic, human-originated label noise from crowdsourced data, and demonstrate the effectiveness of this method on TweetNLP, providing an otherwise difficult to obtain measure of realistic recall.
Abstract（参考訳）: 自然言語データセットでラベルエラーを検出するためのより複雑なメカニズムよりも、分散損失の順にデータポイントを検証する方がはるかに簡単である。クラウドソーシングされたデータからリアルで人間指向のラベルノイズを発生させる新しい手法を提案し,この手法の有効性をTweetNLPで実証し,現実的リコールの指標を得るのが困難であることを示す。

関連論文リスト

Maximizing Data Efficiency for Cross-Lingual TTS Adaptation by Self-Supervised Representation Mixing and Embedding Initialization [57.38123229553157]
本稿では,テキスト音声合成システムにおける言語適応のための効果的な伝達学習フレームワークを提案する。ラベル付きおよびラベルなしの最小データを用いて言語適応を実現することに注力する。実験結果から,本フレームワークは,ラベル付きデータの4つの発声とラベル付きデータの15分で,未知の言語で理解不能な音声を合成できることが示唆された。
論文参考訳（メタデータ） (2024-01-23T21:55:34Z)
Robust Data Pruning under Label Noise via Maximizing Re-labeling Accuracy [34.02350195269502]
我々は再ラベルでデータプルーニングの問題を定式化する。そこで本研究では,すべてのトレーニング例の局所的信頼度を最大化する,新しいデータプルーニングアルゴリズムPrune4Relを提案する。
論文参考訳（メタデータ） (2023-11-02T05:40:26Z)
Optimized Tokenization for Transcribed Error Correction [10.297878672883973]
本研究では, 合成データのみを用いたトレーニングにより, 補正モデルの性能を著しく向上させることができることを示す。具体的には、一組の転写データから得られた誤差分布を用いて生成された合成データが、ランダムな摂動を適用する一般的な手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-10-16T12:14:21Z)
XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文参考訳（メタデータ） (2023-10-09T08:07:04Z)
Automated Labeling of German Chest X-Ray Radiology Reports using Deep Learning [50.591267188664666]
本稿では,ルールベースのドイツ語CheXpertモデルによってラベル付けされたレポートに基づいて,ディープラーニングに基づくCheXpertラベル予測モデルを提案する。その結果,3つのタスクすべてにおいて,ルールベースモデルを大幅に上回ったアプローチの有効性が示された。
論文参考訳（メタデータ） (2023-06-09T16:08:35Z)
Contrastive Error Attribution for Finetuned Language Models [35.80256755393739]
ノイズと誤記のデータは、自然言語生成(NLG)タスクにおける幻覚と不誠実なアウトプットの中核的な原因である。望ましくないアウトプットにつながる低品質のトレーニングインスタンスを特定し、削除するフレームワークを導入します。本研究では、勾配に基づく影響尺度のような既存の誤差追跡手法は、忠実度誤差を検出するために確実に機能しないことを示す。
論文参考訳（メタデータ） (2022-12-21T02:28:07Z)
Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
論文参考訳（メタデータ） (2022-06-27T02:45:09Z)
Annotating and Modeling Fine-grained Factuality in Summarization [36.88018450067003]
実際に使用する上での大きな障壁は、入力に忠実ではなく、事実的誤りを含む要約を出力する確率である。要約の事実的誤りを識別するために,学習モデルのための合成データと人間ラベルデータの両方を探索する。我々は,学習データ中の非実写トークンを識別することにより,より実写的なXSum要約モデルのトレーニングを可能にすることを示す。
論文参考訳（メタデータ） (2021-04-09T11:20:44Z)
A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels [49.990938653249415]
本研究では,初期疑似ラベルを雑音ラベルデータとして用いる非ラベルデータに割り当て,雑音ラベルデータを用いて深層ニューラルネットワークを訓練する手法を提案する。実験の結果,提案手法は,いくつかのベンチマークデータセットにおいて,最先端の手法よりも有意に優れていた。
論文参考訳（メタデータ） (2021-03-08T11:46:02Z)
Self-Supervised Noisy Label Learning for Source-Free Unsupervised Domain Adaptation [87.60688582088194]
新規な自己監督雑音ラベル学習法を提案する。本手法は最新の結果を容易に達成でき、他の手法を非常に大きなマージンで超えることができる。
論文参考訳（メタデータ） (2021-02-23T10:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。