論文の概要: Noisy student-teacher training for robust keyword spotting

• arxiv url: http://arxiv.org/abs/2106.01604v1
• Date: Thu, 3 Jun 2021 05:36:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 12:15:54.406082
• Title: Noisy student-teacher training for robust keyword spotting
• Title（参考訳）: ロバストキーワードスポッティングのための学生教師学習
• Authors: Hyun-Jin Park, Pai Zhu, Ignacio Lopez Moreno, Niranjan Subrahmanya
• Abstract要約: ストリーミングキーワードスポッティングのためのノイズの多い生徒-教師による自己学習手法を提案する。 提案手法は,生徒と教師の両方の入力に対してアグレッシブなデータ拡張を施す。 実験の結果,ノイズの多い学生-教員養成による自己学習は,いくつかの条件の厳しいテストセットの精度を最大60%向上させることがわかった。
• 参考スコア（独自算出の注目度）: 13.264760485020757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose self-training with noisy student-teacher approach for streaming keyword spotting, that can utilize large-scale unlabeled data and aggressive data augmentation. The proposed method applies aggressive data augmentation (spectral augmentation) on the input of both student and teacher and utilize unlabeled data at scale, which significantly boosts the accuracy of student against challenging conditions. Such aggressive augmentation usually degrades model performance when used with supervised training with hard-labeled data. Experiments show that aggressive spec augmentation on baseline supervised training method degrades accuracy, while the proposed self-training with noisy student-teacher training improves accuracy of some difficult-conditioned test sets by as much as 60%.
• Abstract（参考訳）: そこで本研究では,大規模非ラベルデータと積極的なデータ拡張を活用できるストリーミングキーワードスポッティングのための,うるさく学生教師アプローチによる自己学習を提案する。 提案手法は,学生と教師の両方の入力に対してアグレッシブなデータ拡張(スペクトル増強)を適用し,大規模にラベル付けされていないデータを利用する。 このような積極的な拡張は、通常、ハードラベルデータによる教師付きトレーニングで使用する場合のモデルパフォーマンスを低下させる。 実験により, ベースライン指導訓練法における攻撃的スペック増強は精度を低下させるが, ノイズの多い学生教師訓練による自己学習は, 難条件テストセットの精度を最大60%向上させることがわかった。

関連論文リスト

• Noisy Self-Training with Data Augmentations for Offensive and Hate Speech Detection Tasks [3.703767478524629]
  ノイズ」自己学習アプローチには、予測整合性を確保し、敵攻撃に対する堅牢性を高めるために、データ拡張技術が組み込まれている。 2つの攻撃的/ヘイト音声データセットについて実験を行い、(i)自己学習はモデルのサイズに関わらず一貫して性能を向上し、両方のデータセットで最大1.5%F1マクロとなり、(ii)テキストデータ拡張によるノイズの多い自己学習は、同様の設定でうまく適用されているにもかかわらず、デフォルトの手法と比較して、バックトランスレーションのような最先端の手法であっても、攻撃的およびヘイト音声ドメインのパフォーマンスを低下させることを示した。
  論文  参考訳（メタデータ） (2023-07-31T12:35:54Z)
• Mitigating Label Noise through Data Ambiguation [9.51828574518325]
  表現力の高い大型モデルは、誤ったラベルを記憶する傾向があるため、一般化性能を損なう。 本稿では,対象情報の「曖昧化」により,両手法の欠点に対処することを提案する。 より正確には、いわゆる超集合学習の枠組みを利用して、信頼度閾値に基づいて設定値の目標を構築する。
  論文  参考訳（メタデータ） (2023-05-23T07:29:08Z)
• Enhancing Self-Training Methods [0.0]
  半教師付き学習アプローチでは、ラベル付きデータの小さなセットとラベルなしデータの大きなセットをトレーニングする。 自己学習は「確認バイアス」の問題に悩まされる半教師型教師学生のアプローチである
  論文  参考訳（メタデータ） (2023-01-18T03:56:17Z)
• On-the-fly Denoising for Data Augmentation in Natural Language Understanding [101.46848743193358]
  よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。 本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2022-12-20T18:58:33Z)
• Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher [54.50747989860957]
  本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。 RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-05-28T07:47:53Z)
• Dynamic Supervisor for Cross-dataset Object Detection [52.95818230087297]
  オブジェクト検出タスクにおけるデータセット間のトレーニングは、データセットにまたがるカテゴリ内の不整合が、完全に教師付き学習を半教師付き学習に変換するため、複雑である。 本稿では,ハードラベルとソフトラベルを併用した複数更新サブモデルを用いて,アノテーションを複数回更新する動的スーパーバイザフレームワークを提案する。 最終生成アノテーションでは、ハードラベルトレーニングとソフトラベルトレーニングを統合することで、リコールと精度が大幅に向上した。
  論文  参考訳（メタデータ） (2022-04-01T03:18:46Z)
• Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification [0.0]
  この研究は、Kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、自己教師型学習タスクを調査している。 その結果、自己教師型学習におけるプレテキスト処理は、下流分類タスクの約15%の精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2021-08-17T06:43:05Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。