論文の概要: Boosting Active Learning for Speech Recognition with Noisy Pseudo-labeled Samples

• arxiv url: http://arxiv.org/abs/2006.11021v2
• Date: Thu, 5 Nov 2020 14:41:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 05:17:51.983841
• Title: Boosting Active Learning for Speech Recognition with Noisy Pseudo-labeled Samples
• Title（参考訳）: 雑音ラベル付きサンプルを用いた音声認識のためのアクティブ学習の強化
• Authors: Jihwan Bang, Heesu Kim, YoungJoon Yoo, Jung-Woo Ha
• Abstract要約: 従来型のアクティブラーニングアプローチを促進する新たなトレーニングパイプラインを提案する。 提案したトレーニングパイプラインは,アクティブな学習手法の有効性を高めることができることを示す。
• 参考スコア（独自算出の注目度）: 14.472052505918045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The cost of annotating transcriptions for large speech corpora becomes a bottleneck to maximally enjoy the potential capacity of deep neural network-based automatic speech recognition models. In this paper, we present a new training pipeline boosting the conventional active learning approach targeting label-efficient learning to resolve the mentioned problem. Existing active learning methods only focus on selecting a set of informative samples under a labeling budget. One step further, we suggest that the training efficiency can be further improved by utilizing the unlabeled samples, exceeding the labeling budget, by introducing sophisticatedly configured unsupervised loss complementing supervised loss effectively. We propose new unsupervised loss based on consistency regularization, and we configure appropriate augmentation techniques for utterances to adopt consistency regularization in the automatic speech recognition task. From the qualitative and quantitative experiments on the real-world dataset and under real-usage scenarios, we show that the proposed training pipeline can boost the efficacy of active learning approaches, thus successfully reducing a sustainable amount of human labeling cost.
• Abstract（参考訳）: 大きな音声コーパスに注釈を付けるコストは、ディープニューラルネットワークに基づく音声認識モデルの潜在能力を最大限に享受するためにボトルネックとなる。 本稿では,ラベル効率のよい学習を目標とした,従来のアクティブラーニングアプローチを促進させる新しいトレーニングパイプラインを提案する。 既存のアクティブな学習手法は、ラベル付け予算の下で情報的サンプルのセットを選択することのみに焦点を当てる。 さらに,教師付き損失を効果的に補完する高度に構成された教師なし損失を導入することにより,ラベル付きサンプルを利用してラベル付き予算を超えるトレーニング効率をさらに向上できることを示す。 本稿では,一貫性規則化に基づく新しい教師なし損失を提案し,自動音声認識タスクに一貫性規則化を適用するために,発話の適切な拡張手法を設定する。 実世界のデータセットおよび実使用シナリオにおける質的かつ定量的な実験から,提案するトレーニングパイプラインがアクティブラーニング手法の有効性を高めることにより,持続的なラベル付けコストを低減できることを示す。

関連論文リスト

• Contrastive Augmentation: An Unsupervised Learning Approach for Keyword Spotting in Speech Technology [4.080686348274667]
  教師なしコントラスト学習と拡張一意的手法を組み合わせた新しい手法を提案する。 我々の方法では、ニューラルネットワークがラベルのないデータセットでトレーニングすることができ、下流タスクのパフォーマンスが向上する可能性がある。 本稿では,ボトルネック層の特徴と音声再構成情報との類似性を利用した音声強化に基づく教師なし学習手法を提案する。
  論文  参考訳（メタデータ） (2024-08-31T05:40:37Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Reducing Label Effort: Self-Supervised meets Active Learning [32.4747118398236]
  自己学習の最近の進歩は、いくつかのデータセットで教師付き学習に匹敵する非常に印象的な成果を上げている。 実験の結果, 自己学習は, ラベル付け作業の削減において, 積極的学習よりも極めて効率的であることが判明した。 自己学習またはスクラッチでトレーニングされたアクティブラーニングのパフォーマンスギャップは、データセットのほぼ半分がラベル付けされた時点に近づくにつれて減少します。
  論文  参考訳（メタデータ） (2021-08-25T20:04:44Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
  本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
  論文  参考訳（メタデータ） (2021-06-22T16:53:09Z)
• Cost-effective Variational Active Entity Resolution [4.238343046459798]
  我々は,人間の関与コストを削減するために,ディープオートエンコーダが付与するロバスト性に基づくエンティティ解決手法を考案した。 具体的には、教師なし表現学習を行うことにより、ディープ・エンティティ・リゾリューション・モデルのトレーニングコストを削減する。 最後に,ディープ・オートエンコーダの利用によって与えられる特性に基づくアクティブ・ラーニング・アプローチにより,トレーニングデータのラベル付けコストを削減した。
  論文  参考訳（メタデータ） (2020-11-20T13:47:11Z)
• Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
  両レベル最適化によるデータ要約問題として,本手法を定式化する。 本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
  論文  参考訳（メタデータ） (2020-10-19T16:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。