Fugu-MT 論文翻訳(概要): Investigation of Training Label Error Impact on RNN-T

論文の概要: Investigation of Training Label Error Impact on RNN-T

arxiv url: http://arxiv.org/abs/2112.00350v1
Date: Wed, 1 Dec 2021 08:57:39 GMT
ステータス: 処理完了
システム内更新日: 2021-12-02 13:58:27.141487
Title: Investigation of Training Label Error Impact on RNN-T
Title（参考訳）: RNN-Tにおけるラベル誤りの訓練効果の検討
Authors: I-Fan Chen, Brian King, Jasha Droppo
Abstract要約: 我々は、RNN-TベースのASRモデルに対する異なるトレーニングラベル誤差の影響を分析する。削除ラベルエラーの低減を優先して,RNN-Tのデータパイプラインの設計を提案する。
参考スコア（独自算出の注目度）: 8.470599402385302
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose an approach to quantitatively analyze impacts of different training label errors to RNN-T based ASR models. The result shows deletion errors are more harmful than substitution and insertion label errors in RNN-T training data. We also examined label error impact mitigation approaches on RNN-T and found that, though all the methods mitigate the label-error-caused degradation to some extent, they could not remove the performance gap between the models trained with and without the presence of label errors. Based on the analysis results, we suggest to design data pipelines for RNN-T with higher priority on reducing deletion label errors. We also find that ensuring high-quality training labels remains important, despite of the existence of the label error mitigation approaches.
Abstract（参考訳）: 本稿では,RNN-Tに基づくASRモデルに対して,異なるトレーニングラベル誤差の影響を定量的に解析する手法を提案する。その結果,RNN-Tトレーニングデータにおいて,削除誤りは置換や挿入ラベルエラーよりも有害であることがわかった。また,rnn-tにおけるラベルエラー影響軽減手法についても検討し,ラベルエラーによる劣化をある程度緩和するが,ラベルエラーの有無に関わらずトレーニングしたモデル間の性能ギャップを取り除けなかった。解析結果に基づいて,削除ラベルエラーの低減を優先して,RNN-Tのデータパイプラインの設計を提案する。また,ラベル誤り軽減手法が存在するにも関わらず,高品質なトレーニングラベルの確保が引き続き重要であることも確認した。

関連論文リスト

Mitigating the Impact of Labeling Errors on Training via Rockafellian Relaxation [0.8741284539870512]
ニューラルネットワークトレーニングのためのRockafellian Relaxation(RR)の実装を提案する。 RRは、分類タスク間で堅牢なパフォーマンスを達成するために、標準的なニューラルネットワーク手法を強化することができる。 RRはラベル付け誤りと/または逆方向の摂動の両方によるデータセットの破損の影響を軽減することができる。
論文参考訳（メタデータ） (2024-05-30T23:13:01Z)
Parameter-tuning-free data entry error unlearning with adaptive selective synaptic dampening [51.34904967046097]
本稿では,パラメータチューニングの必要性を排除した選択的シナプス減衰アンラーニング法の拡張を提案する。本稿では,ResNet18とVision Transformerの未学習タスクにおける適応選択的シナプス減衰(ASSD)の性能を示す。このアプローチの適用は、サプライチェーン管理などの産業環境において特に魅力的である。
論文参考訳（メタデータ） (2024-02-06T14:04:31Z)
ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文参考訳（メタデータ） (2023-12-13T17:59:07Z)
Quantifying and mitigating the impact of label errors on model disparity metrics [14.225423850241675]
本研究では,ラベル誤差がモデルの不均一度指標に与える影響について検討する。グループキャリブレーションやその他のメトリクスは、トレインタイムやテストタイムのラベルエラーに敏感である。本稿では,モデルの群差尺度に対するトレーニング入力ラベルの影響を推定する手法を提案する。
論文参考訳（メタデータ） (2023-10-04T02:18:45Z)
Losses over Labels: Weakly Supervised Learning via Direct Loss Construction [71.11337906077483]
プログラム可能な弱い監視は、機械学習のパラダイムとして成長している。ラベルの中間ステップを経由することなく,直接損失を発生させるため,ラベルのロバスト・オーバー・ラベル(Losses over Labels, LoL)を提案する。いくつかのベンチマークテキストおよび画像分類タスクにおいて、LoLは既存の弱い監督手法を改善していることを示す。
論文参考訳（メタデータ） (2022-12-13T22:29:14Z)
Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation [21.163070161951868]
半消費学習(SSL)は、教師なしデータをトレーニングに組み込むことで、大きなラベル付きデータセットの必要性を減らすことができる。現在のSSLアプローチでは、初期教師付きトレーニングモデルを使用して、擬似ラベルと呼ばれる未ラベル画像の予測を生成する。擬似ラベルノイズと誤りを3つのメカニズムで制御する。
論文参考訳（メタデータ） (2022-10-19T09:46:27Z)
CTRL: Clustering Training Losses for Label Error Detection [4.49681473359251]
教師付き機械学習では、正確なラベルの使用は高い精度を保証するために極めて重要である。本稿では,ラベル誤り検出のための新しいフレームワークClustering TRaining Lossesを提案する。モデルが異なる方法でクリーンでノイズの多いラベルを学習する観察に基づいて、ラベルエラーを2つのステップで検出する。
論文参考訳（メタデータ） (2022-08-17T18:09:19Z)
Automated Detection of Label Errors in Semantic Segmentation Datasets via Deep Learning and Uncertainty Quantification [5.279257531335345]
ピクセルワイドラベルを用いたセマンティックセグメンテーションデータセットにおけるラベル誤り検出手法を初めて提案する。提案手法では,誤検出回数を制御しながら,ラベルエラーの大部分を検出することができる。
論文参考訳（メタデータ） (2022-07-13T10:25:23Z)
Boosting Semi-Supervised Face Recognition with Noise Robustness [54.342992887966616]
本稿では,自動ラベルによるラベル雑音に対して頑健な半教師付き顔認識に対する効果的な解法を提案する。そこで我々は,gnが強化するロバストな学習能力に基づく,ノイズロバスト学習ラベリング(nroll)という,半教師付き顔認識ソリューションを開発した。
論文参考訳（メタデータ） (2021-05-10T14:43:11Z)
Delving Deep into Label Smoothing [112.24527926373084]
ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
論文参考訳（メタデータ） (2020-11-25T08:03:11Z)
Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文参考訳（メタデータ） (2020-07-01T04:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。