論文の概要: SCORE: Self-supervised Correspondence Fine-tuning for Improved Content Representations

• arxiv url: http://arxiv.org/abs/2403.06260v1
• Date: Sun, 10 Mar 2024 16:57:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 06:47:21.948739
• Title: SCORE: Self-supervised Correspondence Fine-tuning for Improved Content Representations
• Title（参考訳）: SCORE:コンテンツ表現改善のための自己教師型対応微調整
• Authors: Amit Meghanani and Thomas Hain
• Abstract要約: 本研究は,SSL音声表現をコンテンツ関連タスクに適用するために,自己教師付き対応(SCORE)ファインタニングというコスト効率の高いSSFT手法を提案する。 SCOREは、自動音声認識、音素認識、クエリ・バイ・サンプルタスクのための単一のGPU上で、わずか数時間の微調整(5時間)で、SUPERBベンチマークのバニラ HuBERT を上回っている。
• 参考スコア（独自算出の注目度）: 23.56580783289533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a growing interest in cost-effective self-supervised fine-tuning (SSFT) of self-supervised learning (SSL)-based speech models to obtain task-specific representations. These task-specific representations are used for robust performance on various downstream tasks by fine-tuning on the labelled data. This work presents a cost-effective SSFT method named Self-supervised Correspondence (SCORE) fine-tuning to adapt the SSL speech representations for content-related tasks. The proposed method uses a correspondence training strategy, aiming to learn similar representations from perturbed speech and original speech. Commonly used data augmentation techniques for content-related tasks (ASR) are applied to obtain perturbed speech. SCORE fine-tuned HuBERT outperforms the vanilla HuBERT on SUPERB benchmark with only a few hours of fine-tuning (< 5 hrs) on a single GPU for automatic speech recognition, phoneme recognition, and query-by-example tasks, with relative improvements of 1.09%, 3.58%, and 12.65%, respectively. SCORE provides competitive results with the recently proposed SSFT method SPIN, using only 1/3 of the processed speech compared to SPIN.
• Abstract（参考訳）: タスク固有の表現を得るために,自己教師付き学習(SSL)に基づく音声モデルによる費用対効果の高い自己教師型微調整(SSFT)への関心が高まっている。 これらのタスク固有の表現は、ラベル付きデータを微調整することで、様々な下流タスクの堅牢なパフォーマンスに使用される。 本研究は,SSL音声表現をコンテンツ関連タスクに適用するために,自己教師付き対応(SCORE)ファインタニングというコスト効率の高いSSFT手法を提案する。 提案手法は,摂動音声とオリジナル音声から類似表現を学習することを目的とした対応訓練戦略を用いる。 コンテント関連タスク(ASR)のための一般的なデータ拡張手法を適用し,摂動音声を得る。 SCORE 微調整 HuBERT は SUPERB ベンチマークでバニラ HuBERT をわずか数時間 (5 hrs) で上回り、音声認識、音素認識、クエリ・バイ・アンプタスクの1つのGPUでそれぞれ1.09%、3.58%、12.65% 改善した。 SCOREは、最近提案されたSSFT法SPINと競合する結果を提供し、SPINと比較して、処理された音声の1/3しか利用していない。

関連論文リスト

• LASER: Learning by Aligning Self-supervised Representations of Speech for Improving Content-related Tasks [19.94790551312789]
  費用対効果の高い自己監督型微調整(SSFT)手法「LASER:Learning by Aligning Self-supervised Representations」について述べる。 HuBERT と WavLM モデルを用いて実験を行い、SUPERB ベンチマークを用いて、自動音声認識(ASR)と音素認識(PR)の2つのコンテンツ関連タスクについて評価した。 HuBERTは3.7%と8.2%、WavLMは4.1%と11.7%、それぞれASRとPRのタスクは1つのGPUで3時間しか微調整されない。
  論文  参考訳（メタデータ） (2024-06-13T14:17:47Z)
• Towards Selection of Text-to-speech Data to Augment ASR Training [20.115236045164355]
  ニューラルネットワークをトレーニングして、合成データの実際の音声との類似性を計測する。 音声認識性能を高めるためには, 実音声とはかなりの相似性を持つ合成サンプルを組み込むことが重要である。
  論文  参考訳（メタデータ） (2023-05-30T17:24:28Z)
• Self-supervised Fine-tuning for Improved Content Representations by Speaker-invariant Clustering [78.2927924732142]
  話者不変クラスタリング(Spin)を自己教師付き学習手法として提案する。 Spinは、単一のGPU上で45分間の微調整で、スピーカー情報を切り離し、コンテンツ表現を保存する。
  論文  参考訳（メタデータ） (2023-05-18T15:59:36Z)
• SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
  音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。 最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
  論文  参考訳（メタデータ） (2022-12-20T18:39:59Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• Representative Subset Selection for Efficient Fine-Tuning in Self-Supervised Speech Recognition [6.450618373898492]
  ASRのための自己教師型音声モデルにおいて、効率的な微調整を行うために最適なデータのサブセットを同定する作業を検討する。 自己教師型ASRにおける代表サブセット選択のためのCOWERAGEアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T10:12:24Z)
• WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing [102.45426364965887]
  そこで本研究では,フルスタックダウンストリーム音声タスクを解決するための,事前学習型モデルWavLMを提案する。 WavLMはHuBERTフレームワークに基づいて構築されており、音声コンテンツモデリングと話者アイデンティティ保存の両方に重点を置いている。 トレーニングデータセットを60k時間から94k時間までの公開オーディオデータにスケールアップし、そのトレーニング手順を最適化して表現抽出を改善する。
  論文  参考訳（メタデータ） (2021-10-26T17:55:19Z)
• UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training [72.004873454347]
  教師なし話者情報抽出の2つの手法が導入された。 SUPERBベンチマークによる実験結果から,提案方式は最先端の性能を実現することが示された。 トレーニングデータセットを94万時間公開オーディオデータにスケールアップし、さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-10-12T05:43:30Z)
• An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features [13.97006782398121]
  変換器による双方向表現(BERT)モデルが提案され,多くの自然言語処理タスクにおいて記録破りの成功を収めた。 本研究では,不完全な自動音声認識によるネガティブな影響を軽減するために,信頼度スコアを文表現に組み込むことを検討した。 提案手法の有効性をベンチマークデータセットで検証する。
  論文  参考訳（メタデータ） (2020-06-01T18:27:48Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。