論文の概要: Normalization through Fine-tuning: Understanding Wav2vec 2.0 Embeddings for Phonetic Analysis

• arxiv url: http://arxiv.org/abs/2503.04814v1
• Date: Tue, 04 Mar 2025 15:28:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 15:57:00.449703
• Title: Normalization through Fine-tuning: Understanding Wav2vec 2.0 Embeddings for Phonetic Analysis
• Title（参考訳）: 微調整による正規化:音声解析のためのWav2vec 2.0埋め込みを理解する
• Authors: Yiming Wang, Yi Yang, Jiahong Yuan,
• Abstract要約: 本研究では,トランスモデル,特にwav2vec 2.0における正規化過程について検討した。 We found that fine-tuning wav2vec 2.0 is effective to be speechtic normalization by selectively suppressing task-rerelevant information。 これらの知見は, 音声モデルにおいて音素正規化が柔軟に達成されるか, 人間の音声知覚においてどのように実現されるのか, 新たな知見を提供する。
• 参考スコア（独自算出の注目度）: 32.14451400240806
• License:
• Abstract: Phonetic normalization plays a crucial role in speech recognition and analysis, ensuring the comparability of features derived from raw audio data. However, in the current paradigm of fine-tuning pre-trained large transformer models, phonetic normalization is not deemed a necessary step; instead, it is implicitly executed within the models. This study investigates the normalization process within transformer models, especially wav2vec 2.0. Through a comprehensive analysis of embeddings from models fine-tuned for various tasks, our results demonstrate that fine-tuning wav2vec 2.0 effectively achieves phonetic normalization by selectively suppressing task-irrelevant information. We found that models fine-tuned for multiple tasks retain information for both tasks without compromising performance, and that suppressing task-irrelevant information is not necessary for effective classification. These findings provide new insights into how phonetic normalization can be flexibly achieved in speech models and how it is realized in human speech perception.
• Abstract（参考訳）: 音声の正規化は音声認識と分析において重要な役割を担い、生音声データから得られる特徴の可視性を保証する。 しかし、従来の微調整型大規模変圧器モデルのパラダイムでは、音素正規化は必要なステップではなく、モデル内で暗黙的に実行される。 本研究では,トランスモデル,特にwav2vec 2.0における正規化過程について検討した。 各種タスクに微調整されたモデルからの埋め込みを包括的に分析することにより,タスク関連情報を選択的に抑制することにより,微調整wav2vec 2.0が音素正規化を効果的に実現することを示す。 その結果、複数のタスクに微調整されたモデルでは、性能を損なうことなく両方のタスクに関する情報が保持され、効果的な分類にはタスク非関連情報の抑制は必要ないことがわかった。 これらの知見は, 音声モデルにおいて音素正規化が柔軟に達成されるか, 人間の音声知覚においてどのように実現されるのか, 新たな知見を提供する。

関連論文リスト

• Contextual Biasing to Improve Domain-specific Custom Vocabulary Audio Transcription without Explicit Fine-Tuning of Whisper Model [0.0]
  OpenAIのWhisper Automated Speech Recognitionモデルでは、さまざまなデータセットやドメインをまたいだ一般化が優れている。 モデルパラメータを明示的に微調整したり変更したりすることなく、転写精度を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-10-24T01:58:11Z)
• Unveiling and Mitigating Bias in Audio Visual Segmentation [9.427676046134374]
  コミュニティ研究者は、物体のマスクの音質を改善するために、様々な高度なオーディオ視覚セグメンテーションモデルを開発した。 これらのモデルによって作られたマスクは、最初は可塑性に見えるかもしれないが、しばしば誤った接地論理を持つ異常を示す。 我々はこれを、複雑なオーディオ・視覚的グラウンドよりも単純な学習信号として、現実世界固有の嗜好と分布に帰着する。
  論文  参考訳（メタデータ） (2024-07-23T16:55:04Z)
• Disentangling Voice and Content with Self-Supervision for Speaker Recognition [57.446013973449645]
  本稿では,音声における話者の特性と内容の変動を同時にモデル化するアンタングル化フレームワークを提案する。 実験はVoxCelebとSITWのデータセットで実施され、EERとminDCFの平均減少率は9.56%と8.24%である。
  論文  参考訳（メタデータ） (2023-10-02T12:02:07Z)
• Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation [72.7915031238824]
  大規模な拡散モデルは、テキスト・トゥ・オーディオ(T2A)合成タスクで成功している。 意味的不一致や時間的一貫性の低下といった共通の問題に悩まされることが多い。 我々は,Make-an-Audioの成功に基づいて,潜伏拡散に基づくT2A法であるMake-an-Audio 2を提案する。
  論文  参考訳（メタデータ） (2023-05-29T10:41:28Z)
• AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations [88.30635799280923]
  AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。 LRS3の結果は、AV-data2vecが、同じ量のデータとモデルサイズで既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-10T02:55:52Z)
• Fully Automated End-to-End Fake Audio Detection [57.78459588263812]
  本稿では,完全自動エンドツーエンド音声検出手法を提案する。 まず、wav2vec事前学習モデルを用いて、音声の高レベル表現を得る。 ネットワーク構造には, Light-DARTS という異種アーキテクチャサーチ (DARTS) の修正版を用いる。
  論文  参考訳（メタデータ） (2022-08-20T06:46:55Z)
• Analyzing Robustness of End-to-End Neural Models for Automatic Speech Recognition [11.489161072526677]
  音声認識のための事前学習ニューラルネットワークのロバスト性について検討する。 本研究では,LibriSpeechおよびTIMITデータセット上で,事前学習したニューラルネットワークwav2vec2, HuBERT, DistilHuBERTのロバスト性解析を行う。
  論文  参考訳（メタデータ） (2022-08-17T20:00:54Z)
• WavThruVec: Latent speech representation as intermediate features for neural speech synthesis [1.1470070927586016]
  WavThruVecは、高次元のWav2Vec 2.0埋め込みを中間音声表現として使用することでボトルネックを解決する2段階アーキテクチャである。 提案モデルは,最先端のニューラルモデルの品質に適合するだけでなく,音声変換やゼロショット合成といったタスクを可能にする有用な特性も提示する。
  論文  参考訳（メタデータ） (2022-03-31T10:21:08Z)
• Voice2Series: Reprogramming Acoustic Models for Time Series Classification [65.94154001167608]
  Voice2Seriesは、時系列分類のための音響モデルをプログラムする新しいエンドツーエンドアプローチである。 V2Sは20のタスクで性能が優れるか、最先端のメソッドと結びついているかを示し、平均精度を1.84%向上させる。
  論文  参考訳（メタデータ） (2021-06-17T07:59:15Z)
• Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual Speech Enhancement [26.596930749375474]
  本稿では,異なるVAEアーキテクチャを時間的に切り換えるために,マルコフの依存関係を持つ潜在逐次変数を導入する。 モデルのパラメータを推定し、音声信号を強化するために、対応する変動予測-最大化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-02-08T11:45:02Z)
• Any-to-One Sequence-to-Sequence Voice Conversion using Self-Supervised Discrete Speech Representations [49.55361944105796]
  シーケンス・ツー・シーケンス・フレームワークにおいて,任意のA2O音声変換(VC)に対して新しいアプローチを提案する。 A2O VCは、トレーニング中に目に見えないものを含むあらゆる話者を、固定されたターゲットスピーカーに変換することを目指している。
  論文  参考訳（メタデータ） (2020-10-23T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。