論文の概要: Investigation of Speaker Representation for Target-Speaker Speech Processing

• arxiv url: http://arxiv.org/abs/2410.11243v1
• Date: Tue, 15 Oct 2024 03:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:01:16.277173
• Title: Investigation of Speaker Representation for Target-Speaker Speech Processing
• Title（参考訳）: ターゲット話者音声処理のための話者表現の検討
• Authors: Takanori Ashihara, Takafumi Moriya, Shota Horiguchi, Junyi Peng, Tsubasa Ochiai, Marc Delcroix, Kohei Matsuura, Hiroshi Sato,
• Abstract要約: 本論文は,目標話者音声処理タスクに好まれる話者埋め込みとは何か,という根本的な問題に対処することを目的としている。 TS-ASR, TSE, p-VADタスクでは, 対象話者の事前録音音声からの話者埋め込みを, 対象話者の同一性から直接1ホットベクトルの形で計算する事前学習話者エンコーダを比較した。 分析の結果,話者検証性能はTSタスク性能とは多少無関係であり,一ホットベクトルは入学者ベースよりも優れており,最適埋め込みは入力混合に依存していることがわかった。
• 参考スコア（独自算出の注目度）: 49.110228525976794
• License:
• Abstract: Target-speaker speech processing (TS) tasks, such as target-speaker automatic speech recognition (TS-ASR), target speech extraction (TSE), and personal voice activity detection (p-VAD), are important for extracting information about a desired speaker's speech even when it is corrupted by interfering speakers. While most studies have focused on training schemes or system architectures for each specific task, the auxiliary network for embedding target-speaker cues has not been investigated comprehensively in a unified cross-task evaluation. Therefore, this paper aims to address a fundamental question: what is the preferred speaker embedding for TS tasks? To this end, for the TS-ASR, TSE, and p-VAD tasks, we compare pre-trained speaker encoders (i.e., self-supervised or speaker recognition models) that compute speaker embeddings from pre-recorded enrollment speech of the target speaker with ideal speaker embeddings derived directly from the target speaker's identity in the form of a one-hot vector. To further understand the properties of ideal speaker embedding, we optimize it using a gradient-based approach to improve performance on the TS task. Our analysis reveals that speaker verification performance is somewhat unrelated to TS task performances, the one-hot vector outperforms enrollment-based ones, and the optimal embedding depends on the input mixture.
• Abstract（参考訳）: ターゲット話者自動音声認識(TS-ASR)、ターゲット音声抽出(TSE)、個人音声活動検出(p-VAD)などのターゲット話者音声処理(TS)タスクは、話者の干渉によって破損しても、所望の話者の音声に関する情報を抽出するために重要である。 多くの研究は、特定のタスク毎のトレーニングスキームやシステムアーキテクチャに重点を置いているが、ターゲット・スピーカー・キューを埋め込む補助ネットワークは、統合されたタスク間評価において包括的に研究されていない。 そこで本論文は,TSタスクに最適な話者埋め込みとは何か,という根本的な問題に対処することを目的としている。 この目的のために、TS-ASR、TSE、p-VADタスクにおいて、ターゲット話者の事前録音された登録音声からの話者埋め込みを、ターゲット話者のアイデンティティから直接、ワンホットベクトルの形で計算する事前学習された話者エンコーダ(自己教師または話者認識モデル)を比較した。 理想的な話者埋め込みの特性をより深く理解するために,勾配に基づく手法を用いて最適化し,TSタスクの性能向上を図る。 分析の結果,話者検証性能はTSタスク性能とは多少無関係であり,一ホットベクトルは入学者ベースよりも優れており,最適埋め込みは入力混合に依存していることがわかった。

関連論文リスト

• Self supervised learning for robust voice cloning [3.7989740031754806]
  自己教師型フレームワークで学習した特徴を用いて,高品質な音声表現を生成する。 学習した特徴は、事前訓練された発話レベルの埋め込みや、非減衰タコトロンアーキテクチャへの入力として使用される。 この手法により、ラベルなしマルチスピーカデータセットでモデルをトレーニングし、未知の話者埋め込みを用いて話者の声を模倣することができる。
  論文  参考訳（メタデータ） (2022-04-07T13:05:24Z)
• Improved Relation Networks for End-to-End Speaker Verification and Identification [0.0]
  話者識別システムは、少数のサンプルが与えられた一連の登録話者の中から話者を識別する。 話者検証と少数ショット話者識別のための改良された関係ネットワークを提案する。 話者検証におけるプロトタイプネットワークの利用に触発されて、トレーニングセットに存在するすべての話者のうち、現在のエピソードのサンプルを分類するようにモデルを訓練する。
  論文  参考訳（メタデータ） (2022-03-31T17:44:04Z)
• Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings [53.11450530896623]
  本稿では,「誰が何を話したか」を認識可能な,ストリーミング話者対応自動音声認識(SA-ASR)モデルを提案する。 本モデルは,最近提案されたマルチトーカー音声をストリーミング形式で書き起こすためのトークンレベルシリアライズアウトプットトレーニング(t-SOT)に基づいている。 提案モデルでは,従来のストリーミングモデルよりも精度が大幅に向上し,最先端のオフラインSA-ASRモデルに匹敵する,あるいは時として優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-03-30T21:42:00Z)
• PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation Extraction [90.55375210094995]
  音声強調は、背景雑音の抑制による音声信号の知覚品質の向上を目的としている。 本稿では,頑健な話者表現抽出のためのエンドツーエンドディープラーニングフレームワークPL-EESRを提案する。
  論文  参考訳（メタデータ） (2021-10-03T07:05:29Z)
• Content-Aware Speaker Embeddings for Speaker Diarisation [3.6398652091809987]
  コンテンツ認識型話者埋め込み(CASE)アプローチを提案する。 ケースファクターは話者認識から自動音声認識(asr)を導き、話者特性のモデル化に焦点をあてる。 caseは従来の方法に比べて17.8%の相対的な話者誤り率削減を達成した。
  論文  参考訳（メタデータ） (2021-02-12T12:02:03Z)
• Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers [38.3469744871394]
  エンドツーエンドの話者分散音声認識モデルを提案する。 重複した音声における話者カウント、音声認識、話者識別を統一する。
  論文  参考訳（メタデータ） (2020-06-19T02:05:18Z)
• Active Speakers in Context [88.22935329360618]
  能動話者検出のための現在の手法は、単一話者からの短期音声視覚情報をモデル化することに焦点を当てている。 本稿では,複数話者間の関係を長期にわたってモデル化する新しい表現であるActive Speaker Contextを紹介する。 実験の結果,構造的特徴アンサンブルはすでにアクティブな話者検出性能の恩恵を受けていることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T01:14:23Z)
• Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention [70.82604384963679]
  本稿では,補助的話者認識機能を用いた音声強調のための自己適応手法について検討する。 テスト発話から直接適応に用いる話者表現を抽出する。
  論文  参考訳（メタデータ） (2020-02-14T05:05:36Z)
• Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam [100.95498268200777]
  SpeakerBeamは、ターゲット話者の適応発話を利用して、声の特徴を抽出する。 SpeakerBeamは、同じジェンダーのミキシングのように、話者が似たような音声特性を持つときに失敗することがある。 実験により、これらの戦略は、特に同性混合において、音声抽出性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2020-01-23T05:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。