論文の概要: Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2401.06980v1
• Date: Sat, 13 Jan 2024 05:01:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 20:17:22.149281
• Title: Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization
• Title（参考訳）: バイレベル最適化による自動音声認識のための教師なし・教師なし合同学習
• Authors: A F M Saif, Xiaodong Cui, Han Shen, Songtao Lu, Brian Kingsbury, Tianyi Chen
• Abstract要約: 両レベル共同教師なし・教師付き訓練(BL-JUST)と呼ばれる自動音声認識(ASR)タスクのための音響モデルのトレーニングのための,バイレベル最適化に基づく新たなトレーニング手法を提案する。 BL-JUSTは、教師なしの損失と教師なしの損失で下層と上層を最適化し、最近のペナルティベースの二レベル最適化の進歩を利用して、安価で複雑なASR問題と厳密な収束を保証する。
• 参考スコア（独自算出の注目度）: 73.98386682604122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a novel bilevel optimization-based training approach to training acoustic models for automatic speech recognition (ASR) tasks that we term {bi-level joint unsupervised and supervised training (BL-JUST)}. {BL-JUST employs a lower and upper level optimization with an unsupervised loss and a supervised loss respectively, leveraging recent advances in penalty-based bilevel optimization to solve this challenging ASR problem with affordable complexity and rigorous convergence guarantees.} To evaluate BL-JUST, extensive experiments on the LibriSpeech and TED-LIUM v2 datasets have been conducted. BL-JUST achieves superior performance over the commonly used pre-training followed by fine-tuning strategy.
• Abstract（参考訳）: 本稿では,bi-level joint unsupervised and supervised training(bl-just)と呼ぶ,自動音声認識(asr)タスクのための音響モデルを訓練するための,新しい2レベル最適化に基づくトレーニング手法を提案する。 bl-justは、教師なし損失と教師なし損失を伴う下位レベルと上位レベルの最適化をそれぞれ採用し、近年のペナルティベースの2レベル最適化の進歩を利用して、手頃な複雑さと厳密な収束保証でこの困難なasr問題を解決する。 BL-JUSTを評価するために,LibriSpeechおよびTED-Lium v2データセットに関する広範な実験を行った。 BL-JUSTは、一般的に使用される事前訓練と微調整戦略よりも優れた性能を達成する。

関連論文リスト

• BiSSL: Bilevel Optimization for Self-Supervised Pre-Training and Fine-Tuning [12.749627564482282]
  BiSSLは、自己教師型学習において、プリテキスト事前学習と下流の微調整ステージのアライメントを強化するために、バイレベル最適化を導入する、第一級のトレーニングフレームワークである。 本稿では,BiSSLで定義された2つの目的の最適化を交互に行うトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-03T11:07:43Z)
• A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
  We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。 2つのよく知られた実世界のアプリケーションでその効果を実証する。
  論文  参考訳（メタデータ） (2024-06-14T15:59:36Z)
• Asynchronous Distributed Bilevel Optimization [20.074079852690048]
  本稿では,双方向最適化問題に対処するため,非同期分散双レベル(ADBO)アルゴリズムを提案する。 ADBOが$epsilon$-定常点を得る複雑さは$mathcalO(frac1epsilon 2)$によって上界される。
  論文  参考訳（メタデータ） (2022-12-20T07:44:48Z)
• Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
  自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。 本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-21T06:08:30Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• Value-Function-based Sequential Minimization for Bi-level Optimization [52.39882976848064]
  勾配に基づくBi-Level Optimization (BLO)法は、現代の学習課題に広く応用されている。 機能的制約のあるBLOや悲観的なBLOなど、難解なシナリオでBLOを解くことができる勾配ベースの方法はほとんどない。 上記の問題に対処するために,BVFSM(Bi-level Value-Function-based Sequential Minimization)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T03:13:39Z)
• Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training [5.874575666947381]
  本研究は、追加のラベル付きデータを用いて半教師付き物体検出を行い、検出性能を向上させることを目的とする。 疑似ラベルを生成するための新しい2段階フィルタリングアルゴリズムを提案する。 提案手法は,MS-COCOおよびVOCベンチマークの良好な改善を実現する。
  論文  参考訳（メタデータ） (2021-07-11T12:14:42Z)
• A Generic Descent Aggregation Framework for Gradient-based Bi-level Optimization [41.894281911990554]
  両レベル学習タスクのための新しいBDA(Bi-level Descent Aggregation)フレームワークを開発した。 BDAは上層と下層の両方の階層的目的を集約する。 従来の勾配に基づくbiレベル法の収束結果を改善するための新しい証明法を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:58:12Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。