論文の概要: Exploration of A Self-Supervised Speech Model: A Study on Emotional Corpora

• arxiv url: http://arxiv.org/abs/2210.02595v1
• Date: Wed, 5 Oct 2022 23:01:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 17:01:48.201148
• Title: Exploration of A Self-Supervised Speech Model: A Study on Emotional Corpora
• Title（参考訳）: 自己監督型音声モデルの探索:感情コーパスの検討
• Authors: Yuanchao Li, Yumnah Mohamied, Peter Bell, Catherine Lai
• Abstract要約: 我々は感情コーパスの研究を行い、一般的な自己教師型モデルであるwav2vec 2.0を探索する。 本研究は,本領域における今後の研究を支援する新たな知見と,既存モデルの利用に関する理論的基礎を提供する。
• 参考スコア（独自算出の注目度）: 9.956827851309638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised speech models have grown fast during the past few years and have proven feasible for use in various downstream tasks. Some recent work has started to look at the characteristics of these models, yet many concerns have not been fully addressed. In this work, we conduct a study on emotional corpora to explore a popular self-supervised model -- wav2vec 2.0. Via a set of quantitative analysis, we mainly demonstrate that: 1) wav2vec 2.0 appears to discard paralinguistic information that is less useful for word recognition purposes; 2) for emotion recognition, representations from the middle layer alone perform as well as those derived from layer averaging, while the final layer results in the worst performance in some cases; 3) current self-supervised models may not be the optimal solution for downstream tasks that make use of non-lexical features. Our work provides novel findings that will aid future research in this area and theoretical basis for the use of existing models.
• Abstract（参考訳）: 自己教師付き音声モデルはここ数年で急速に成長し、様々な下流タスクで使用できることが証明されている。 いくつかの最近の研究はこれらのモデルの特徴に注目し始めているが、多くの懸念は十分に解決されていない。 本稿では,人気のある自己監督モデルであるwav2vec 2.0について,感情コーパスの研究を行う。 定量的な分析を通して 主にそのことを示します 1) wav2vec 2.0は、単語認識目的にあまり有用でないパラ言語情報を破棄しているように見える。 2) 感情認識では, 中間層のみの表現が, 平均層から派生した表現と同等に機能し, 最終層が最悪の結果となる場合もある。 3)現在の自己教師型モデルは,非語彙的特徴を利用した下流タスクの最適解にはならない。 本研究は,本領域における今後の研究に役立つ新たな知見と既存モデルの利用に関する理論的基礎を提供する。

関連論文リスト

• What Do Speech Foundation Models Not Learn About Speech? [30.524282767961463]
  我々はWhisper, Seamless, Wav2Vec, HuBERT, Qwen2-Audioなどの音声基礎モデルを分析する。 まず、ゼロショット設定でモデルを評価し、次にこれらのモデルから抽出した層ワイドな特徴を微調整する。 この結果から,モデルの一般化能力,レイヤワイド表現の特徴,下流タスク適応に必要な変換度などの知見が得られた。
  論文  参考訳（メタデータ） (2024-10-16T18:34:07Z)
• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Eureka: Evaluating and Understanding Large Foundation Models [23.020996995362104]
  Eurekaは、シングルスコアのレポートやランキングを超えて、大規模な基盤モデルの評価を標準化するためのオープンソースのフレームワークです。 我々は、12の最先端モデルを分析し、失敗理解とモデル比較に関する詳細な洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-13T18:01:49Z)
• A Reliable Framework for Human-in-the-Loop Anomaly Detection in Time Series [17.08674819906415]
  HILADは、人間とAIの動的かつ双方向なコラボレーションを促進するために設計された、新しいフレームワークである。 ビジュアルインターフェースを通じて、HILADはドメインの専門家に、大規模な予期せぬモデルの振る舞いを検出し、解釈し、修正する権限を与えます。
  論文  参考訳（メタデータ） (2024-05-06T07:44:07Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Ensemble knowledge distillation of self-supervised speech models [84.69577440755457]
  蒸留自己監督モデルは近年、競争性能と効率性を示している。 We performed Ensemble Knowledge Distillation (EKD) on various self-supervised speech model, HuBERT, RobustHuBERT, WavLM。 提案手法は,4つの下流音声処理タスクにおける蒸留モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-02-24T17:15:39Z)
• Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
  自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。 事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
  論文  参考訳（メタデータ） (2021-07-10T02:13:25Z)
• Emotion Recognition from Speech Using Wav2vec 2.0 Embeddings [16.829474982595837]
  音声認識のための伝達学習手法を提案する。 トレーニング前のモデルからいくつかのレイヤーの出力を、下流モデルとの共同学習可能なウェイトで組み合わせます。 提案手法をIEMOCAPとRAVDESSの2つの標準感情データベース上で評価し,結果よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-04-08T04:31:58Z)
• Utilizing Self-supervised Representations for MOS Prediction [51.09985767946843]
  既存の評価は通常、クリーンな参照または平行な地上真実データを必要とする。 一方、主観的テストは、追加のクリーンデータや並列データを必要としず、人間の知覚とよりよく相関する。 基礎的真理データを必要とせず,人間の知覚とよく相関する自動評価手法を開発した。
  論文  参考訳（メタデータ） (2021-04-07T09:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。