論文の概要: Avoid Overthinking in Self-Supervised Models for Speech Recognition

• arxiv url: http://arxiv.org/abs/2211.08989v1
• Date: Tue, 1 Nov 2022 15:26:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 13:58:01.202829
• Title: Avoid Overthinking in Self-Supervised Models for Speech Recognition
• Title（参考訳）: 自己監督型音声認識モデルにおける再考回避
• Authors: Dan Berrebbi and Brian Yan and Shinji Watanabe
• Abstract要約: 自己教師付き学習(SSL)モデルは、私たちの言語、言語、ビジョンに対するアプローチを形変えました。 層間の巨大なサイズと不透明な関係は、推論が遅くなり、ネットワークが過大評価される。 EE戦略は、特定のサンプルの推論時間における計算を動的に削減することで、両方の問題を解決することができる。
• 参考スコア（独自算出の注目度）: 28.960289849075753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) models reshaped our approach to speech, language and vision. However their huge size and the opaque relations between their layers and tasks result in slow inference and network overthinking, where predictions made from the last layer of large models is worse than those made from intermediate layers. Early exit (EE) strategies can solve both issues by dynamically reducing computations at inference time for certain samples. Although popular for classification tasks in vision and language, EE has seen less use for sequence-to-sequence speech recognition (ASR) tasks where outputs from early layers are often degenerate. This challenge is further compounded when speech SSL models are applied on out-of-distribution (OOD) data. This paper first shows that SSL models do overthinking in ASR. We then motivate further research in EE by computing an optimal bound for performance versus speed trade-offs. To approach this bound we propose two new strategies for ASR: (1) we adapt the recently proposed patience strategy to ASR; and (2) we design a new EE strategy specific to ASR that performs better than all strategies previously introduced.
• Abstract（参考訳）: 自己教師付き学習(SSL)モデルは、私たちの言語、言語、ビジョンに対するアプローチを形変えました。 しかし、その巨大なサイズとそれらの層とタスクの間の不透明な関係は、中間層から作られたものよりも予測が悪くなるため、推論とネットワークの過度な再考をもたらす。 早期終了戦略(EE)は、特定のサンプルの推論時間における計算を動的に削減することで、両方の問題を解決することができる。 視覚と言語における分類タスクに人気があるが、初期の層からの出力がしばしば縮退するsequence-to-sequence speech recognition (asr)タスクでは、eeはあまり使われていない。 この課題は、音声SSLモデルがアウト・オブ・ディストリビューション(OOD)データに適用された場合にさらに複雑になる。 本稿ではまず、SSLモデルがASRで過剰に検討されていることを示す。 次に、パフォーマンス対スピードトレードオフの最適境界を計算することによって、EEにおけるさらなる研究を動機付けます。 この問題に対処するため、我々は、(1)最近提案された忍耐戦略をASRに適用し、(2)これまで導入された全ての戦略より優れたASR固有の新しいEE戦略を設計する。

関連論文リスト

• Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs [73.74375912785689]
  本稿では,音声認識システムのための統合学習戦略を提案する。 3つのタスクの1つのモデルをトレーニングすることで、VSRとAVSRの性能が向上することを示す。 また,非ラベル標本をより効果的に活用するために,強欲な擬似ラベリング手法を導入する。
  論文  参考訳（メタデータ） (2024-11-04T16:46:53Z)
• Efficient infusion of self-supervised representations in Automatic Speech Recognition [1.2972104025246092]
  Wav2vecやHuBERTのような自己教師付き学習(SSL)モデルは、音声関連のタスクに対して最先端の結果をもたらす。 本稿では,SSLモデルからASRアーキテクチャへの表現を効率的に組み込むために,フレームワイズ付加と(2)クロスアテンション機構を用いる2つの簡単なアプローチを提案する。 提案手法により,Librispeech と Tedlium のデータセットにおいて,より高速なトレーニングが可能となり,大幅な性能向上が期待できる。
  論文  参考訳（メタデータ） (2024-04-19T05:01:12Z)
• Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
  従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。 提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。 我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
  論文  参考訳（メタデータ） (2023-08-11T12:59:02Z)
• Hierarchical Memory Learning for Fine-Grained Scene Graph Generation [49.39355372599507]
  本稿では,HML(Hierarchical Memory Learning)フレームワークを提案する。 粗い述語と細かな述語を自律的に分割した後、モデルはまず粗い述語で訓練され、次に細かな述語を学ぶ。
  論文  参考訳（メタデータ） (2022-03-14T08:01:14Z)
• Sequence-level self-learning with multiple hypotheses [53.04725240411895]
  我々は、自動音声認識(ASR)のためのアテンションベースシーケンス・ツー・シーケンス(seq2seq)モデルを用いた新しい自己学習手法を開発した。 従来の教師なし学習手法とは対照的に,我々はEmphmulti-task Learning(MTL)フレームワークを採用する。 実験の結果,本手法は,英語データのみを用いてトレーニングしたベースラインモデルと比較して,英文音声データのWERを14.55%から10.36%に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-12-10T20:47:58Z)
• Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks [10.723935272906461]
  近年, GAN (Generative Adversarial Network) を用いたエンド・ツー・エンド(E2E) ASRシステムの対戦訓練について検討している。 GAN目標を用いた事前学習型ASRモデルの微調整のための新しいフレームワークを提案する。 提案手法は,ベースラインと従来のGANベースの対戦モデルより優れている。
  論文  参考訳（メタデータ） (2021-03-10T17:40:48Z)
• Contextual Classification Using Self-Supervised Auxiliary Models for Deep Neural Networks [6.585049648605185]
  自己監督型自動学習(SSAL)モデルの概念を紹介します。 SSALの目的は、元の教師付き分類タスクから派生した1つ以上の追加目標によって実現される。 SSALモデルは、より解釈しやすい構造化された予測を提供しながら、常に最先端を上回ります。
  論文  参考訳（メタデータ） (2021-01-07T18:41:16Z)
• A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
  我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。 その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
  論文  参考訳（メタデータ） (2020-12-03T08:32:01Z)
• Deliberation Model Based Two-Pass End-to-End Speech Recognition [52.45841282906516]
  非ストリーミングのリステン・アテン・アンド・スペル(LAS)モデルを用いて、ストリーム仮説を再スコアする2パスモデルが提案されている。 このモデルは、第一パスのテキスト仮説のみを使用する神経矯正モデルのクラスとは対照的に、音響学で仮説を再評価する。 双方向エンコーダを用いて、ファーストパス仮説からコンテキスト情報を抽出する。
  論文  参考訳（メタデータ） (2020-03-17T22:01:12Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。