論文の概要: Benchmarking Children's ASR with Supervised and Self-supervised Speech Foundation Models

• arxiv url: http://arxiv.org/abs/2406.10507v1
• Date: Sat, 15 Jun 2024 05:13:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 00:02:59.052737
• Title: Benchmarking Children's ASR with Supervised and Self-supervised Speech Foundation Models
• Title（参考訳）: 教師付き・自己教師型音声基礎モデルを用いた子どものASRのベンチマーク
• Authors: Ruchao Fan, Natarajan Balaji Shankar, Abeer Alwan,
• Abstract要約: 音声基礎モデル(SFM)は、教師付き(例えば、Whisper)や自己監督型(例えば、WavLM)の様々な音声タスクに対して最先端の結果を得た。
• 参考スコア（独自算出の注目度）: 23.383924361298874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech foundation models (SFMs) have achieved state-of-the-art results for various speech tasks in supervised (e.g. Whisper) or self-supervised systems (e.g. WavLM). However, the performance of SFMs for child ASR has not been systematically studied. In addition, there is no benchmark for child ASR with standard evaluations, making the comparisons of novel ideas difficult. In this paper, we initiate and present a comprehensive benchmark on several child speech databases based on various SFMs (Whisper, Wav2vec2.0, HuBERT, and WavLM). Moreover, we investigate finetuning strategies by comparing various data augmentation and parameter-efficient finetuning (PEFT) methods. We observe that the behaviors of these methods are different when the model size increases. For example, PEFT matches the performance of full finetuning for large models but worse for small models. To stabilize finetuning using augmented data, we propose a perturbation invariant finetuning (PIF) loss as a regularization.
• Abstract（参考訳）: 音声基礎モデル(SFM)は、教師付き(例えばWhisper)や自己監督型(eg WavLM)において、様々な音声タスクに対して最先端の結果を得た。 しかし、子どものASRに対するSFMの性能は体系的に研究されていない。 さらに、標準評価による子ASRのベンチマークは存在しないため、新しいアイデアの比較は困難である。 本稿では, 様々なSFM(Whisper, Wav2vec2.0, HuBERT, WavLM)に基づいて, 児童音声データベースの総合ベンチマークを実施し, 提示する。 さらに,様々なデータ拡張法とパラメータ効率の微調整(PEFT)法を比較し,微調整戦略について検討した。 モデルのサイズが大きくなると,これらの手法の挙動が異なることが観察された。 例えば、PEFTは大型モデルではフルファインタニングのパフォーマンスに匹敵するが、小型モデルでは悪い。 拡張データを用いた微調整を安定化するために,正規化として摂動不変微調整(PIF)ロスを提案する。

関連論文リスト

• Beyond Oversmoothing: Evaluating DDPM and MSE for Scalable Speech Synthesis in ASR [13.307889110301502]
  ASRモデルのトレーニングに使用する場合, DPM(Denoising Diffusion Probabilistic Models)とTSのMean Squared Error(MSE)ベースのモデルを比較した。 与えられたモデルサイズに対して、DDPMはMSEモデルよりも多くのデータとより多様な話者の集合をうまく利用することができる。 実話と合成音声のWERの比率(1.46)は最も高いが,大きなギャップが残っていることも確認できた。
  論文  参考訳（メタデータ） (2024-10-16T06:35:56Z)
• Selective Self-Rehearsal: A Fine-Tuning Approach to Improve Generalization in Large Language Models [19.752712857873043]
  本稿では,SSR(Selective Self-Rehearsal)を導入し,SFT(Selective Self-Rehearsal)に匹敵する性能を実現する。 モデルの正しい応答を利用することで、SSRは微調整段階におけるモデルの特殊化を減らす。 SSRの有効性は、様々なデータセットにまたがる解決不可能なクエリを識別するタスクに関する実験を通じて実証される。
  論文  参考訳（メタデータ） (2024-09-07T10:21:03Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction [75.25114727856861]
  大規模言語モデル(LLM)は、スーパービジョンされた微調整プロセスの後半で劣化する傾向にある。 この問題に対処するための単純な分散結合フレームワークを導入する。 我々のフレームワークは、一連の標準知識と推論ベンチマークに基づいて、データキュレーションや正規化の訓練など、様々な高度な手法より優れています。
  論文  参考訳（メタデータ） (2024-05-22T08:18:19Z)
• Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting [0.0]
  我々は、大規模言語モデル(LLM)の様々な微調整戦略の理解を深めようとしている。 我々は,2つのデータセット(COLAとMNLI)で事前学習したモデルに対して,バニラファインチューニングやPBFT(Pattern-Based Fine-Tuning)のような最先端の手法を比較した。 以上の結果から,バニラFTやPBFTに匹敵する領域外一般化が期待できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-21T20:08:52Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• Big model only for hard audios: Sample dependent Whisper model selection for efficient inferences [7.592727209806414]
  いくつかのASRモデルが様々なサイズに存在するが、推論コストが異なるため、性能レベルが異なる。 我々は、オーディオサンプルが与えられた場合、十分な最小のモデルを使用することで、良好な書き起こしにつながる決定モジュールを訓練することを提案する。 決定プロセスの計算効率を保ちながら,性能低下を低減し,計算コストを大幅に削減できる決定モジュールを構築した。
  論文  参考訳（メタデータ） (2023-09-22T08:50:58Z)
• MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models [90.99663022952498]
  SuperBは自己教師付き学習(SSL)音声モデルの様々なタスクにおける一般化性を評価するために提案された。 SuperBは大規模なデータセットと多様なタスクのために高い計算コストを発生させる。 我々は,SUPERBに匹敵する結果のSSL音声モデルを効率よく評価する軽量ベンチマークであるMiniSUPERBを紹介する。
  論文  参考訳（メタデータ） (2023-05-30T13:07:33Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• A Study of Gender Impact in Self-supervised Models for Speech-to-Text Systems [25.468558523679363]
  我々は、事前学習データにおいて、性別固有のwav2vec 2.0モデルを、性別バランスの異なるモデルと比較し、比較する。 エンドツーエンドのASRシステムを微調整する前に、性別別事前学習を用いて、全体的なパフォーマンスを低く観察する。
  論文  参考訳（メタデータ） (2022-04-04T11:28:19Z)
• From Sound Representation to Model Robustness [82.21746840893658]
  本研究では, 環境音の標準的な表現(スペクトログラム)が, 被害者の残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 3つの環境音響データセットの様々な実験から、ResNet-18モデルは、他のディープラーニングアーキテクチャよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-27T17:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。