論文の概要: Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2401.06980v1
• Date: Sat, 13 Jan 2024 05:01:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 20:17:22.149281
• Title: Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization
• Title（参考訳）: バイレベル最適化による自動音声認識のための教師なし・教師なし合同学習
• Authors: A F M Saif, Xiaodong Cui, Han Shen, Songtao Lu, Brian Kingsbury, Tianyi Chen
• Abstract要約: 両レベル共同教師なし・教師付き訓練(BL-JUST)と呼ばれる自動音声認識(ASR)タスクのための音響モデルのトレーニングのための,バイレベル最適化に基づく新たなトレーニング手法を提案する。 BL-JUSTは、教師なしの損失と教師なしの損失で下層と上層を最適化し、最近のペナルティベースの二レベル最適化の進歩を利用して、安価で複雑なASR問題と厳密な収束を保証する。
• 参考スコア（独自算出の注目度）: 73.98386682604122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a novel bilevel optimization-based training approach to training acoustic models for automatic speech recognition (ASR) tasks that we term {bi-level joint unsupervised and supervised training (BL-JUST)}. {BL-JUST employs a lower and upper level optimization with an unsupervised loss and a supervised loss respectively, leveraging recent advances in penalty-based bilevel optimization to solve this challenging ASR problem with affordable complexity and rigorous convergence guarantees.} To evaluate BL-JUST, extensive experiments on the LibriSpeech and TED-LIUM v2 datasets have been conducted. BL-JUST achieves superior performance over the commonly used pre-training followed by fine-tuning strategy.
• Abstract（参考訳）: 本稿では,bi-level joint unsupervised and supervised training(bl-just)と呼ぶ,自動音声認識(asr)タスクのための音響モデルを訓練するための,新しい2レベル最適化に基づくトレーニング手法を提案する。 bl-justは、教師なし損失と教師なし損失を伴う下位レベルと上位レベルの最適化をそれぞれ採用し、近年のペナルティベースの2レベル最適化の進歩を利用して、手頃な複雑さと厳密な収束保証でこの困難なasr問題を解決する。 BL-JUSTを評価するために,LibriSpeechおよびTED-Lium v2データセットに関する広範な実験を行った。 BL-JUSTは、一般的に使用される事前訓練と微調整戦略よりも優れた性能を達成する。

関連論文リスト

• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Bilevel Joint Unsupervised and Supervised Training for Automatic Speech Recognition [75.89351788005479]
  BL-JUSTは、自動音声認識のための二段階共同教師なしおよび教師付き訓練フレームワークである。 BL-JUSTは、教師なしと教師なしの両方の損失関数を同時に最小化する音響モデルの最適化を試みる。 BL-JUSTは、広く使われている事前学習と微調整の戦略と、他の人気のある半教師あり技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-11T17:06:12Z)
• A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
  We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。 2つのよく知られた実世界のアプリケーションでその効果を実証する。
  論文  参考訳（メタデータ） (2024-06-14T15:59:36Z)
• Asynchronous Distributed Bilevel Optimization [20.074079852690048]
  本稿では,双方向最適化問題に対処するため,非同期分散双レベル(ADBO)アルゴリズムを提案する。 ADBOが$epsilon$-定常点を得る複雑さは$mathcalO(frac1epsilon 2)$によって上界される。
  論文  参考訳（メタデータ） (2022-12-20T07:44:48Z)
• Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
  自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。 本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-21T06:08:30Z)
• Value-Function-based Sequential Minimization for Bi-level Optimization [52.39882976848064]
  勾配に基づくBi-Level Optimization (BLO)法は、現代の学習課題に広く応用されている。 機能的制約のあるBLOや悲観的なBLOなど、難解なシナリオでBLOを解くことができる勾配ベースの方法はほとんどない。 上記の問題に対処するために,BVFSM(Bi-level Value-Function-based Sequential Minimization)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T03:13:39Z)
• Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training [5.874575666947381]
  本研究は、追加のラベル付きデータを用いて半教師付き物体検出を行い、検出性能を向上させることを目的とする。 疑似ラベルを生成するための新しい2段階フィルタリングアルゴリズムを提案する。 提案手法は,MS-COCOおよびVOCベンチマークの良好な改善を実現する。
  論文  参考訳（メタデータ） (2021-07-11T12:14:42Z)
• A Generic Descent Aggregation Framework for Gradient-based Bi-level Optimization [41.894281911990554]
  両レベル学習タスクのための新しいBDA(Bi-level Descent Aggregation)フレームワークを開発した。 BDAは上層と下層の両方の階層的目的を集約する。 従来の勾配に基づくbiレベル法の収束結果を改善するための新しい証明法を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。