論文の概要: Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation

• arxiv url: http://arxiv.org/abs/2309.10456v2
• Date: Sun, 4 Feb 2024 06:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 05:06:28.335936
• Title: Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation
• Title（参考訳）: セマンティック情報を用いた話者ダイアリゼーションの改善:協調的制約の伝播
• Authors: Luyao Cheng, Siqi Zheng, Qinglin Zhang, Hui Wang, Yafeng Chen, Qian Chen, Shiliang Zhang
• Abstract要約: 本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 53.01238689626378
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Speaker diarization has gained considerable attention within speech processing research community. Mainstream speaker diarization rely primarily on speakers' voice characteristics extracted from acoustic signals and often overlook the potential of semantic information. Considering the fact that speech signals can efficiently convey the content of a speech, it is of our interest to fully exploit these semantic cues utilizing language models. In this work we propose a novel approach to effectively leverage semantic information in clustering-based speaker diarization systems. Firstly, we introduce spoken language understanding modules to extract speaker-related semantic information and utilize these information to construct pairwise constraints. Secondly, we present a novel framework to integrate these constraints into the speaker diarization pipeline, enhancing the performance of the entire system. Extensive experiments conducted on the public dataset demonstrate the consistent superiority of our proposed approach over acoustic-only speaker diarization systems.
• Abstract（参考訳）: 話者ダイアリゼーションは,音声処理研究コミュニティにおいて注目されている。 主流話者ダイアリゼーションは、主に音響信号から抽出された話者の音声特性に依存し、しばしば意味情報の可能性を見落としている。 音声信号が音声の内容を効率的に伝達できることを考えると、これらの意味的手がかりを言語モデルを用いて完全に活用することに関心がある。 本研究では,クラスタリングに基づく話者ダイアリゼーションシステムにおいて,意味情報を有効に活用するための新しい手法を提案する。 まず,話者関連意味情報を抽出するための音声言語理解モジュールを導入し,これらの情報を用いてペアワイズ制約を構築する。 次に,これらの制約を話者ダイアリゼーションパイプラインに統合し,システム全体の性能を向上させるための新しい枠組みを提案する。 公開データセット上で行った広範囲な実験により,提案手法が音響のみの話者ダイアリゼーションシステムに対して一貫した優位性を示す。

関連論文リスト

• Integrating Audio, Visual, and Semantic Information for Enhanced Multimodal Speaker Diarization [25.213694510527436]
  既存の話者ダイアリゼーションシステムの多くは、単調な音響情報のみに依存している。 本稿では,音声,視覚,意味的手がかりを併用して話者ダイアリゼーションを向上する新しいマルチモーダル手法を提案する。 我々の手法は、最先端の話者ダイアリゼーション法より一貫して優れている。
  論文  参考訳（メタデータ） (2024-08-22T03:34:03Z)
• Self-Supervised Disentangled Representation Learning for Robust Target Speech Extraction [17.05599594354308]
  音声信号は、大域的な音響特性と局所的な意味情報の両方を含むため、本質的に複雑である。 対象音声抽出のタスクでは、参照音声における大域的・局所的な意味情報の特定の要素が話者の混乱を招く可能性がある。 本稿では,この課題を克服するために,自己教師付き不整合表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-16T03:48:24Z)
• Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization [7.673971221635779]
  多人数会議におけるセマンティックコンテンツから話者関連情報を抽出する手法を提案する。 AISHELL-4とAliMeetingの2つのデータセットを用いた実験により,本手法は音響のみの話者ダイアリゼーションシステムよりも一貫した改善を実現することが示された。
  論文  参考訳（メタデータ） (2023-05-22T11:14:19Z)
• Self-supervised Fine-tuning for Improved Content Representations by Speaker-invariant Clustering [78.2927924732142]
  話者不変クラスタリング(Spin)を自己教師付き学習手法として提案する。 Spinは、単一のGPU上で45分間の微調整で、スピーカー情報を切り離し、コンテンツ表現を保存する。
  論文  参考訳（メタデータ） (2023-05-18T15:59:36Z)
• Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
  Wav-BERTは、協調的な音響および言語表現学習法である。 我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
  論文  参考訳（メタデータ） (2021-09-19T16:39:22Z)
• Content-Aware Speaker Embeddings for Speaker Diarisation [3.6398652091809987]
  コンテンツ認識型話者埋め込み(CASE)アプローチを提案する。 ケースファクターは話者認識から自動音声認識(asr)を導き、話者特性のモデル化に焦点をあてる。 caseは従来の方法に比べて17.8%の相対的な話者誤り率削減を達成した。
  論文  参考訳（メタデータ） (2021-02-12T12:02:03Z)
• A Review of Speaker Diarization: Recent Advances with Deep Learning [78.20151731627958]
  スピーカーダイアリゼーションは、スピーカーのアイデンティティに対応するクラスでオーディオまたはビデオ録画をラベル付けするタスクです。 ディープラーニング技術の台頭に伴い、話者ダイアリゼーションのためのさらなる急速な進歩がなされている。 話者ダイアリゼーションシステムが音声認識アプリケーションとどのように統合されているかについて議論する。
  論文  参考訳（メタデータ） (2021-01-24T01:28:05Z)
• An Overview of Deep-Learning-Based Audio-Visual Speech Enhancement and Separation [57.68765353264689]
  音声強調と音声分離は関連する2つの課題である。 伝統的に、これらのタスクは信号処理と機械学習技術を使って取り組まれてきた。 ディープラーニングは強力なパフォーマンスを達成するために利用されています。
  論文  参考訳（メタデータ） (2020-08-21T17:24:09Z)
• Speaker Diarization with Lexical Information [59.983797884955]
  本研究では,音声認識による語彙情報を活用した話者ダイアリゼーション手法を提案する。 本稿では,話者クラスタリングプロセスに単語レベルの話者回転確率を組み込んだ話者ダイアリゼーションシステムを提案し,全体的なダイアリゼーション精度を向上させる。
  論文  参考訳（メタデータ） (2020-04-13T17:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。