論文の概要: SDBench: A Comprehensive Benchmark Suite for Speaker Diarization

• arxiv url: http://arxiv.org/abs/2507.16136v1
• Date: Tue, 22 Jul 2025 01:11:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.922425
• Title: SDBench: A Comprehensive Benchmark Suite for Speaker Diarization
• Title（参考訳）: SDBench: 話者ダイアリゼーションのための総合ベンチマークスイート
• Authors: Eduardo Pacheco, Atila Orhon, Berkin Durmus, Blaise Munyampirwa, Andrey Leonov,
• Abstract要約: 最先端の話者ダイアリゼーションシステムでさえ、異なるデータセット間でエラー率のばらつきが高い。 SDBenchは,話者ダイアリゼーション性能を一貫した,きめ細かい分析を行うためのオープンソースのベンチマークスイートである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even state-of-the-art speaker diarization systems exhibit high variance in error rates across different datasets, representing numerous use cases and domains. Furthermore, comparing across systems requires careful application of best practices such as dataset splits and metric definitions to allow for apples-to-apples comparison. We propose SDBench (Speaker Diarization Benchmark), an open-source benchmark suite that integrates 13 diverse datasets with built-in tooling for consistent and fine-grained analysis of speaker diarization performance for various on-device and server-side systems. SDBench enables reproducible evaluation and easy integration of new systems over time. To demonstrate the efficacy of SDBench, we built SpeakerKit, an inference efficiency-focused system built on top of Pyannote v3. SDBench enabled rapid execution of ablation studies that led to SpeakerKit being 9.6x faster than Pyannote v3 while achieving comparable error rates. We benchmark 6 state-of-the-art systems including Deepgram, AWS Transcribe, and Pyannote AI API, revealing important trade-offs between accuracy and speed.
• Abstract（参考訳）: 最先端の話者ダイアリゼーションシステムでさえ、さまざまなデータセット間でエラー率のばらつきが高く、多くのユースケースやドメインを表している。 さらに、システム間で比較するためには、データセット分割やメートル法定義といったベストプラクティスを慎重に適用する必要がある。 SDBench(Speaker Diarization Benchmark)は、13の多様なデータセットと組込みツールを統合したオープンソースのベンチマークスイートである。 SDBenchは再現可能な評価と、時間とともに新しいシステムの容易な統合を可能にする。 SDBenchの有効性を実証するために、Pyannote v3上に構築された推論効率にフォーカスしたシステムであるSpeakerKitを開発した。 SDBenchは、Pyannote v3より9.6倍高速で、同等のエラー率を実現したアブレーション研究の迅速な実行を可能にした。 私たちは、Deepgram、AWS Transcribe、Pyannote AI APIを含む6つの最先端システムのベンチマークを行い、正確性とスピードの間の重要なトレードオフを明らかにしました。

関連論文リスト

• Systematic Evaluation of Online Speaker Diarization Systems Regarding their Latency [44.99833362998488]
  遅延とは、音声入力から対応する話者ラベルの出力までの時間である。 DIART-pipeline では、埋め込みモデルである pyannote/embedding で最低レイテンシを実現する。 FS-EENDシステムも同様に優れたレイテンシを示している。
  論文  参考訳（メタデータ） (2024-07-05T06:54:27Z)
• ESB: A Benchmark For Multi-Domain End-to-End Speech Recognition [100.30565531246165]
  音声認識システムはデータセット固有のチューニングを必要とする。 このチューニング要件は、他のデータセットやドメインへの一般化に失敗したシステムにつながる可能性がある。 本稿では,1つの自動音声認識システムの性能を評価するために,エンド・ツー・エンド音声ベンチマーク(ESB)を提案する。
  論文  参考訳（メタデータ） (2022-10-24T15:58:48Z)
• Joint Speech Activity and Overlap Detection with Multi-Exit Architecture [5.4878772986187565]
  オーバーラップ音声検出(OSD)は、多人数変換のシナリオにおける音声応用において重要である。 本研究は,新たな視点からVADとOSDの共同作業について検討する。 特に,従来の分類網をマルチエグジットアーキテクチャで拡張することを提案する。
  論文  参考訳（メタデータ） (2022-09-24T02:34:11Z)
• STOP: A dataset for Spoken Task Oriented Semantic Parsing [66.14615249745448]
  エンドツーエンド音声言語理解(SLU)は単一モデルを用いて音声から直接意図を予測する。 Spoken Task-Oriented semantic Parsing (STOP) データセットをリリースします。 人間が録音した音声に加えて、我々はTS生成バージョンをリリースし、エンド・ツー・エンドのSLUシステムの低リソース領域適応の性能をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-29T00:36:34Z)
• Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings [53.11450530896623]
  本稿では,「誰が何を話したか」を認識可能な,ストリーミング話者対応自動音声認識(SA-ASR)モデルを提案する。 本モデルは,最近提案されたマルチトーカー音声をストリーミング形式で書き起こすためのトークンレベルシリアライズアウトプットトレーニング(t-SOT)に基づいている。 提案モデルでは,従来のストリーミングモデルよりも精度が大幅に向上し,最先端のオフラインSA-ASRモデルに匹敵する,あるいは時として優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-03-30T21:42:00Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Audio-Visual Synchronisation in the wild [149.84890978170174]
  我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。 任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。 我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
  論文  参考訳（メタデータ） (2021-12-08T17:50:26Z)
• Rethinking End-to-End Evaluation of Decomposable Tasks: A Case Study on Spoken Language Understanding [101.24748444126982]
  分解可能なタスクは複雑で、サブタスクの階層から構成される。 しかし、既存のベンチマークでは、通常は表面レベルのサブタスクのみの例が示される。 サブタスク固有のユーティリティ関数上の座標アセントを用いて、ロバストなテストセットを構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-29T02:53:59Z)
• Self-attention encoding and pooling for speaker recognition [16.96341561111918]
  本研究では,非固定長音声音声の識別話者埋め込みを実現するために,タンデム自己認識・プーリング(SAEP)機構を提案する。 SAEPは、テキストに依存しない話者検証に使用される話者埋め込みに、短時間の話者スペクトル特徴を符号化する。 このアプローチをVoxCeleb1と2のデータセットで評価した。
  論文  参考訳（メタデータ） (2020-08-03T09:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。