論文の概要: SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition

• arxiv url: http://arxiv.org/abs/2506.12672v1
• Date: Sun, 15 Jun 2025 00:37:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.685183
• Title: SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
• Title（参考訳）: SC-SOT:エンド・ツー・エンド重複音声認識のためのダイアリゼーション話者情報に対するデコーダの条件付け
• Authors: Yuta Hirano, Sakriani Sakti,
• Abstract要約: E2EマルチストーカーASRのためのSC-SOT(Serialized Output Training)を提案する。 SC-SOTは、話者情報にデコーダを明示的に条件付け、「誰がいつ話したか」に関する詳細な情報を提供する。
• 参考スコア（独自算出の注目度）: 11.157709125869593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Speaker-Conditioned Serialized Output Training (SC-SOT), an enhanced SOT-based training for E2E multi-talker ASR. We first probe how SOT handles overlapped speech, and we found the decoder performs implicit speaker separation. We hypothesize this implicit separation is often insufficient due to ambiguous acoustic cues in overlapping regions. To address this, SC-SOT explicitly conditions the decoder on speaker information, providing detailed information about "who spoke when". Specifically, we enhance the decoder by incorporating: (1) speaker embeddings, which allow the model to focus on the acoustic characteristics of the target speaker, and (2) speaker activity information, which guides the model to suppress non-target speakers. The speaker embeddings are derived from a jointly trained E2E speaker diarization model, mitigating the need for speaker enrollment. Experimental results demonstrate the effectiveness of our conditioning approach on overlapped speech.
• Abstract（参考訳）: E2EマルチストーカーASRのためのSOTに基づく強化トレーニングであるSC-SOT(Speaker-Conditioned Serialized Output Training)を提案する。 我々はまず、SOTが重なり合う音声をどう処理するかを調査し、デコーダが暗黙の話者分離を行うことを示した。 重なり合う領域におけるあいまいな音響的手がかりにより,この暗黙的分離が不十分な場合が多いと仮定する。 これを解決するため、SC-SOTは話者情報にデコーダを明示的に条件付け、「誰がいつ話したか」に関する詳細な情報を提供する。 具体的には,(1)対象話者の音響特性に焦点をあてる話者埋め込み,(2)対象話者を抑えるためのモデルを支援する話者活動情報を導入することでデコーダを強化する。 話者埋め込みは、共同で訓練されたE2E話者ダイアリゼーションモデルから導出され、話者登録の必要性を緩和する。 実験の結果,重畳音声に対する条件付け手法の有効性が示された。

関連論文リスト

• Disentangling Speakers in Multi-Talker Speech Recognition with Speaker-Aware CTC [73.23245793460275]
  マルチトーカー音声認識は、重複する音声を遠ざけ、書き起こす際、独特な課題に直面している。 本稿では,MTASRにSOT(Serialized Output Training)を取り入れた場合の話者の絡み合いにおける接続性時間分類(CTC)の役割について検討する。 本研究では,ベイズリスクCTCフレームワークに基づく話者認識型CTC(SACTC)学習目標を提案する。
  論文  参考訳（メタデータ） (2024-09-19T01:26:33Z)
• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization [7.673971221635779]
  多人数会議におけるセマンティックコンテンツから話者関連情報を抽出する手法を提案する。 AISHELL-4とAliMeetingの2つのデータセットを用いた実験により,本手法は音響のみの話者ダイアリゼーションシステムよりも一貫した改善を実現することが示された。
  論文  参考訳（メタデータ） (2023-05-22T11:14:19Z)
• In search of strong embedding extractors for speaker diarisation [49.7017388682077]
  話者ダイアリゼーションにEEを採用する際の2つの重要な問題に対処する。 まず、性能向上に必要な特徴が話者検証とダイアリゼーションに異なるため、評価は簡単ではない。 広く採用されている話者検証評価プロトコルの性能向上は、ダイアリゼーション性能の向上に繋がらないことを示す。 重なり合う音声や話者変化の入力を認識するために,2番目の問題を緩和する2つのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-10-26T13:00:29Z)
• Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings [53.11450530896623]
  本稿では,「誰が何を話したか」を認識可能な,ストリーミング話者対応自動音声認識(SA-ASR)モデルを提案する。 本モデルは,最近提案されたマルチトーカー音声をストリーミング形式で書き起こすためのトークンレベルシリアライズアウトプットトレーニング(t-SOT)に基づいている。 提案モデルでは,従来のストリーミングモデルよりも精度が大幅に向上し,最先端のオフラインSA-ASRモデルに匹敵する,あるいは時として優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-03-30T21:42:00Z)
• Transcribe-to-Diarize: Neural Speaker Diarization for Unlimited Number of Speakers using End-to-End Speaker-Attributed ASR [44.181755224118696]
  Transcribe-to-Diarizeは、エンド・ツー・エンド(E2E)話者による自動音声認識(SA-ASR)を用いたニューラルスピーカーダイアリゼーションの新しいアプローチである。 提案手法は,話者数不明の場合に,既存の話者ダイアリゼーション法よりも高いダイアリゼーション誤差率を実現する。
  論文  参考訳（メタデータ） (2021-10-07T02:48:49Z)
• Content-Aware Speaker Embeddings for Speaker Diarisation [3.6398652091809987]
  コンテンツ認識型話者埋め込み(CASE)アプローチを提案する。 ケースファクターは話者認識から自動音声認識(asr)を導き、話者特性のモデル化に焦点をあてる。 caseは従来の方法に比べて17.8%の相対的な話者誤り率削減を達成した。
  論文  参考訳（メタデータ） (2021-02-12T12:02:03Z)
• Speaker Separation Using Speaker Inventories and Estimated Speech [78.57067876891253]
  話者在庫(SSUSI)と推定音声(SSUES)を用いた話者分離を提案する。 置換不変訓練(PIT)と音声抽出の利点を組み合わせることで、SSUSIは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-20T18:15:45Z)
• Investigation of End-To-End Speaker-Attributed ASR for Continuous Multi-Talker Recordings [40.99930744000231]
  話者プロファイルが存在しないケースに対処することで、以前の作業を拡張します。 E2E SA-ASRモデルの内部話者表現を用いて話者カウントとクラスタリングを行う。 また,E2E SA-ASRトレーニングの基準ラベルの簡単な修正も提案する。
  論文  参考訳（メタデータ） (2020-08-11T06:41:55Z)
• Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers [38.3469744871394]
  エンドツーエンドの話者分散音声認識モデルを提案する。 重複した音声における話者カウント、音声認識、話者識別を統一する。
  論文  参考訳（メタデータ） (2020-06-19T02:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。