論文の概要: Token-Weighted RNN-T for Learning from Flawed Data

• arxiv url: http://arxiv.org/abs/2406.18108v1
• Date: Wed, 26 Jun 2024 06:48:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 14:28:34.629525
• Title: Token-Weighted RNN-T for Learning from Flawed Data
• Title（参考訳）: 欠陥データからの学習のためのトークン重み付きRNN-T
• Authors: Gil Keren, Wei Zhou, Ozlem Kalinli,
• Abstract要約: トークン固有の重みでRNN-T目標を増大させるトークン重み付きRNN-T基準を提案する。 トークン重み付きRNN-Tは,この劣化を克服するのに適しており,精度損失の64%～99%を回復することを示した。
• 参考スコア（独自算出の注目度）: 12.313800974153542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ASR models are commonly trained with the cross-entropy criterion to increase the probability of a target token sequence. While optimizing the probability of all tokens in the target sequence is sensible, one may want to de-emphasize tokens that reflect transcription errors. In this work, we propose a novel token-weighted RNN-T criterion that augments the RNN-T objective with token-specific weights. The new objective is used for mitigating accuracy loss from transcriptions errors in the training data, which naturally appear in two settings: pseudo-labeling and human annotation errors. Experiments results show that using our method for semi-supervised learning with pseudo-labels leads to a consistent accuracy improvement, up to 38% relative. We also analyze the accuracy degradation resulting from different levels of WER in the reference transcription, and show that token-weighted RNN-T is suitable for overcoming this degradation, recovering 64%-99% of the accuracy loss.
• Abstract（参考訳）: ASRモデルは、ターゲットトークンシーケンスの確率を高めるために、クロスエントロピー基準で一般的に訓練される。 ターゲットシーケンス内の全てのトークンの確率を最適化することは賢明であるが、転写エラーを反映するトークンを非強調化したい場合もある。 本研究では,RNN-T目標をトークン固有の重みで拡張する新しいトークン重み付きRNN-T基準を提案する。 新しい目的は、トレーニングデータ中の転写エラーからの精度損失を軽減するために使用され、これは疑似ラベルと人間のアノテーションエラーの2つの設定に自然に現れる。 実験の結果,擬似ラベルを用いた半教師付き学習では,最大38%の精度向上が得られた。 また、基準転写におけるWERの異なるレベルから生じる精度劣化を分析し、トークン重み付けRNN-Tがこの劣化を克服するのに適しており、精度損失の64%～99%を回復することを示した。

関連論文リスト

• Instance-based Learning with Prototype Reduction for Real-Time Proportional Myocontrol: A Randomized User Study Demonstrating Accuracy-preserving Data Reduction for Prosthetic Embedded Systems [0.0]
  本研究は, 義肢制御におけるジェスチャー検出のためのkNNスキームに基づく学習手法の設計, 実装, 検証を行う。 8チャンネルSEMGアームバンドを用いて,パラメータ化と比例スキームの変化の影響を解析した。
  論文  参考訳（メタデータ） (2023-08-21T20:15:35Z)
• Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech Recognition [49.42732949233184]
  ラベル付きデータが不十分な場合、擬似ラベル技術による半教師付き学習は自動音声認識の性能を大幅に向上させることができる。 損失関数のグラウンドトルースとしてノイズラベルを取ると、最適以下の性能が得られる。 そこで我々は,ノイズの多い擬似ラベル問題に対処するために,代替擬似ラベル方式という新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-12T12:13:52Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Robust Neural Network Classification via Double Regularization [2.41710192205034]
  本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。 我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
  論文  参考訳（メタデータ） (2021-12-15T13:19:20Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• Toward Robotic Weed Control: Detection of Nutsedge Weed in Bermudagrass Turf Using Inaccurate and Insufficient Training Data [6.289267097017553]
  本研究では,ブムダグラス芝からナッツゲ科雑草を検出するアルゴリズムを開発した。 合成データと生データを組み合わせてネットワークを訓練する。 本稿では,提案アルゴリズムを実装し,Faster R-CNNとMask R-CNNを比較した。
  論文  参考訳（メタデータ） (2021-06-16T15:58:00Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• FastCorrect: Fast Error Correction with Edit Alignment for Automatic Speech Recognition [90.34177266618143]
  編集アライメントに基づく新しいNAR誤り訂正モデルであるFastCorrectを提案する。 fastcorrectは推論を6-9倍高速化し、自己回帰補正モデルと比較して精度を8-14%向上させる。 ニューラルマシン翻訳で採用されている一般的なNARモデルの精度を、大きなマージンで上回っています。
  論文  参考訳（メタデータ） (2021-05-09T05:35:36Z)
• Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks [7.349786872131006]
  抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。 バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。 BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
  論文  参考訳（メタデータ） (2020-02-03T17:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。