論文の概要: Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement

• arxiv url: http://arxiv.org/abs/2609.25948v1
• Date: Tue, 22 Sep 2026 09:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.315853
• Title: Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement
• Title（参考訳）: 実会話音声強調のためのマルチ話者抽出の課題
• Abstract要約: 本研究は、トレーニングにおける過剰な沈黙の効果を緩和し、STOIを0.55から0.60に改善し、周波数重み付きSNRを4.35から5.12に改善する新しい損失関数を提案する。 本研究は、トレーニングにおける過剰な沈黙の効果を緩和し、STOIを0.55から0.60に改善し、周波数重み付きSNRを4.35から5.12に改善する新しい損失関数を提案する。
• 参考スコア（独自算出の注目度）: 18.242838507326024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Target-speaker and multi-speaker extraction are techniques for extracting speech from a desired speaker or desired speakers in the presence of other speakers and/or noise. Neural network approaches for this task are often trained and evaluated using simulated datasets, with balanced amounts of target speech and speaker enrolment samples which closely match the target speech. However, in real multi-party conversations, participants are often silent for more time than they are speaking, and their enrolment speech samples can differ substantially from the target speech in the conversation. These factors can impact the training and evaluation of these techniques on recordings of real conversations. This work proposes a new loss function, which helps mitigate the effect of excess silence in training, improving STOI from 0.55 to 0.60, and frequency-weighted segmental SNR from 4.35 to 5.12. Additionally, the impact of the mismatch between the enrolment speech and target speech is explored.
• Abstract（参考訳）: ターゲットスピーカとマルチスピーカ抽出は、他の話者や雑音の存在下で、所望の話者または所望の話者から音声を抽出する技術である。 このタスクのためのニューラルネットワークアプローチは、しばしば、ターゲット音声とターゲット音声と密に一致した話者エンロラメントサンプルのバランスの取れた量を用いて、シミュレーションデータセットを使用して訓練され、評価される。 しかし、実際の多人数会話では、参加者は話す時間よりも多く沈黙しており、そのエンロメント音声サンプルは会話のターゲットスピーチと大きく異なる場合がある。 これらの要因は、これらのテクニックの訓練と評価が実際の会話の記録に影響を及ぼす可能性がある。 本研究は、トレーニングにおける過剰な沈黙の効果を緩和し、STOIを0.55から0.60に改善し、周波数重み付きSNRを4.35から5.12に改善する新しい損失関数を提案する。 さらに,エンロメント音声とターゲット音声とのミスマッチの影響について検討した。

関連論文リスト

• Detecting Mental Manipulation in Speech via Synthetic Multi-Speaker Dialogue [12.181747090385612]
  心的操作は、他者に影響を与えるか、搾取するために、言語を戦略的に利用することである。 音声対話における心的操作検出に関する最初の研究について述べる。 少数ショットの大きな音声言語モデルと人間のアノテーションを用いて、モーダリティが検出精度と知覚にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2026-01-13T09:02:08Z)
• Target conversation extraction: Source separation using turn-taking dynamics [23.189364779538757]
  本稿では,ターゲット会話抽出の新たな課題について紹介する。その目的は,参加者の1人の話者埋め込みに基づいて,対象会話の音声を抽出することである。 ニューラルネットワークを用いて、英語とマンダリンの会話データセットに対する我々のアプローチの有効性を示す。 干渉話者の存在下では,2対4対4対4対4対4対4対4対7.92対2対1対1対1対1対1対1対8.19対1対1対1対4対4対4対4対2対2対2対2対2対1対1対1対1対1対1対1対1対1対1対1対1対1対1対1対1対1対1対2対2対2対2対4対1対2対2対2対2対2対2対2対2対2対1対1対1対1対1対1対1対1
  論文  参考訳（メタデータ） (2024-07-15T22:55:27Z)
• Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model [47.67067056593085]
  単一チャネルの対話データを擬似ステレオデータに変換するパイプラインを開発する。 これにより、トレーニングデータセットを2,000時間から17,600時間に拡大しました。 この擬似ステレオデータの導入は、音声対話言語モデルの性能向上に有効であることが証明されている。
  論文  参考訳（メタデータ） (2024-07-02T03:22:41Z)
• Pre-Finetuning for Few-Shot Emotional Speech Recognition [20.894029832911617]
  我々は話者適応を数発の学習問題と見なしている。 そこで本研究では,知識を数発の下流分類対象に抽出する難解な課題に対する事前学習音声モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-24T22:38:54Z)
• Speaker Extraction with Co-Speech Gestures Cue [79.91394239104908]
  話者抽出のための話者キューとして,手動や体の動きなど,共同音声ジェスチャシーケンスの活用について検討する。 目標話者に対する注意深い聴取を行うために,共音声ジェスチャキューを用いて2つのネットワークを提案する。 実験結果から, 対象話者の関連付けにおいて, 共音声のジェスチャーキューが有意であり, 抽出した音声の品質は未処理の混合音声よりも有意に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-31T06:48:52Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation [125.59372403631006]
  マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。 マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。 提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T15:47:11Z)
• Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam [100.95498268200777]
  SpeakerBeamは、ターゲット話者の適応発話を利用して、声の特徴を抽出する。 SpeakerBeamは、同じジェンダーのミキシングのように、話者が似たような音声特性を持つときに失敗することがある。 実験により、これらの戦略は、特に同性混合において、音声抽出性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2020-01-23T05:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。