論文の概要: SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions

• arxiv url: http://arxiv.org/abs/2509.17091v2
• Date: Mon, 29 Sep 2025 13:46:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 14:13:47.561857
• Title: SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions
• Title（参考訳）: SVeritas: 多様な条件下でのロバスト話者検証のためのベンチマーク
• Abstract要約: 話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。 既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。 SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
• 参考スコア（独自算出の注目度）: 54.34001921326444
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Speaker verification (SV) models are increasingly integrated into security, personalization, and access control systems, yet their robustness to many real-world challenges remains inadequately benchmarked. These include a variety of natural and maliciously created conditions causing signal degradations or mismatches between enrollment and test data, impacting performance. Existing benchmarks evaluate only subsets of these conditions, missing others entirely. We introduce SVeritas, a comprehensive Speaker Verification tasks benchmark suite, assessing SV systems under stressors like recording duration, spontaneity, content, noise, microphone distance, reverberation, channel mismatches, audio bandwidth, codecs, speaker age, and susceptibility to spoofing and adversarial attacks. While several benchmarks do exist that each cover some of these issues, SVeritas is the first comprehensive evaluation that not only includes all of these, but also several other entirely new, but nonetheless important, real-life conditions that have not previously been benchmarked. We use SVeritas to evaluate several state-of-the-art SV models and observe that while some architectures maintain stability under common distortions, they suffer substantial performance degradation in scenarios involving cross-language trials, age mismatches, and codec-induced compression. Extending our analysis across demographic subgroups, we further identify disparities in robustness across age groups, gender, and linguistic backgrounds. By standardizing evaluation under realistic and synthetic stress conditions, SVeritas enables precise diagnosis of model weaknesses and establishes a foundation for advancing equitable and reliable speaker verification systems.
• Abstract（参考訳）: 話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されているが、現実の多くの課題に対する堅牢性は、十分にベンチマークされていない。 これには、さまざまな自然で悪意のある生成条件が含まれており、信号の劣化や、登録データとテストデータのミスマッチを引き起こし、パフォーマンスに影響を及ぼす。 既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。 SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。 いくつかのベンチマークがあるが、SVeritasはこれらすべての問題を網羅する最初の総合的な評価であり、これら全てを含むだけでなく、全く新しいものもいくつかある。 我々は、SVeritasを用いて、いくつかの最先端SVモデルを評価し、いくつかのアーキテクチャが共通の歪みの下で安定性を維持しながら、言語間トライアル、年齢ミスマッチ、コーデックによる圧縮を含むシナリオにおいて、大幅な性能劣化を被っていることを観察する。 人口統計学的サブグループにまたがって分析を拡張し、年齢層、性別、言語学的背景におけるロバスト性の違いをさらに特定する。 現実的および合成的なストレス条件下での評価を標準化することにより、SVeritasはモデルの弱点の正確な診断を可能にし、公平で信頼性の高い話者検証システムを構築するための基盤を確立する。

関連論文リスト

• StabilityBench: Benchmarking Instability in LLMs [5.633712097504611]
  本論文では,シングルターンベンチマークをマルチターンインタラクション履歴に変換するベンチマーク演算子であるStable Benchを提案する。 本研究では, 数学的推論, 健康質問応答, 安全性の4つのベンチマークに適用し, 9つの大言語モデルを評価する。 以上の結果から,これらのインジェクションのモデル性能は安定的に不安定であり,4つのベンチマークのうち3つに対してかなりの性能劣化が認められた。
  論文  参考訳（メタデータ） (2026-07-17T16:09:37Z)
• MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation [88.7702943548674]
  マルチショットオーディオビデオ生成のための,初の総合的なベンチマークと適応型ハイブリッド評価フレームワークであるMSAVBenchを紹介する。 私たちのベンチマークでは、ビデオ、オーディオ、ショット、参照の4つの重要な領域にまたがっており、多様なタスク設定、最大15のショット数、非現実的なシナリオに挑戦しています。 MSAVBenchは人間の判断と高度に一致し、スピアマンのランク相関は91.5%に達する。
  論文  参考訳（メタデータ） (2026-05-19T17:59:33Z)
• Navigating the Sea of LLM Evaluation: Investigating Bias in Toxicity Benchmarks [0.36748639131154315]
  本研究は、確立されたベンチマーク設定の堅牢性を調査し、本質的なバイアスを測定する方法を検討する。 本実験では,評価設定が変更された場合のベンチマーク動作に有意な差がみられた。 モデル固有の不安定性を観察し、より堅牢で包括的な安全性評価フレームワークの必要性を明確に示す。
  論文  参考訳（メタデータ） (2026-05-11T14:27:39Z)
• STABLEVAL: Disagreement-Aware and Stable Evaluation of AI Systems [3.263813419432528]
  多数決はアノテータの信頼性と項目レベルの曖昧さを捨て、しばしば不安定な比較をもたらす。 本稿では,不一致を考慮した評価フレームワークSTABLEVALを紹介する。 STABLEVALは、安定かつ不確実性を認識したシステム評価のために設計されている。
  論文  参考訳（メタデータ） (2026-05-04T01:03:48Z)
• Back to Basics: Revisiting ASR in the Age of Voice Agents [25.372625280850695]
  WildASRは、実際の人間の発話をベースとした診断ベンチマークである。 厳格で不均一なパフォーマンス劣化があり、モデルロバスト性は言語や条件間で伝達されない。 この結果から,生産システムにおけるASRの信頼性の理解と改善には,目標因子分離評価が不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-03-26T17:59:03Z)
• Evaluating Semantic Fragility in Text-to-Audio Generation Systems Under Controlled Prompt Perturbations [2.2870073664564115]
  小さな言語的変化は、生成された音声にかなりの変化をもたらし、実用的な使用における信頼性への懸念を引き起こす可能性がある。 制御された即時摂動下でのテキスト・音声システムの意味的不安定性を評価する。
  論文  参考訳（メタデータ） (2026-03-14T08:12:40Z)
• AgentNoiseBench: Benchmarking Robustness of Tool-Using LLM Agents Under Noisy Condition [72.24180896265192]
  本稿では,騒音環境下でのエージェントモデルのロバスト性を評価するためのフレームワークであるAgentNoiseBenchを紹介する。 まず、実世界のシナリオにおけるバイアスと不確実性の詳細な分析を行う。 次に,環境騒音をユーザノイズとツールノイズの2つの主要なタイプに分類する。 この分析に基づいて,既存のエージェント中心ベンチマークに制御可能なノイズを注入する自動パイプラインを開発した。
  論文  参考訳（メタデータ） (2026-02-11T20:33:10Z)
• Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
  推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。 NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。 評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
  論文  参考訳（メタデータ） (2026-01-12T05:43:51Z)
• Test-time Adaptive Hierarchical Co-enhanced Denoising Network for Reliable Multimodal Classification [55.56234913868664]
  マルチモーダルデータを用いた信頼性学習のためのTAHCD(Test-time Adaptive Hierarchical Co-enhanced Denoising Network)を提案する。 提案手法は,最先端の信頼性の高いマルチモーダル学習手法と比較して,優れた分類性能,堅牢性,一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-12T03:14:12Z)
• Prompt Stability in Code LLMs: Measuring Sensitivity across Emotion- and Personality-Driven Variations [40.12950482269347]
  本稿では,感情テンプレートと人格テンプレートを用いた意味論的に等価なプロンプト変種を生成するフレームワークであるPromptSEを提案する。 本研究は、性能と安定性が、主に分離された最適化目標として振る舞うことを示す。 PromptSEは、デプロイとモデル選択のためのパフォーマンス安定性トレードオフの定量化を可能にする。
  論文  参考訳（メタデータ） (2025-09-17T04:17:42Z)
• TalkVid: A Large-Scale Diversified Dataset for Audio-Driven Talking Head Synthesis [74.31705485094096]
  7729のユニークなスピーカーから1244時間のビデオを含む、大規模で高品質で多様なデータセットであるTalkVidを紹介した。 TalkVidは、動作の安定性、美的品質、顔のディテールを厳格にフィルタする、原則付き多段階自動パイプラインを通じてキュレートされる。 TalkVid-Benchは、500クリップの階層化された評価セットで、重要な人口統計学と言語学の軸間で慎重にバランスを取ります。
  論文  参考訳（メタデータ） (2025-08-19T08:31:15Z)
• Beyond Easy Wins: A Text Hardness-Aware Benchmark for LLM-generated Text Detection [0.38233569758620056]
  本稿では,現実的かつ公平な評価を優先する,AIテキスト検出のための新しい評価パラダイムを提案する。 我々のベンチマークであるShielDは、信頼性と安定性の両要素を統一評価基準に統合することにより、これらの制限に対処する。 制御可能な硬度パラメータを組み込んだモデル非依存型ヒューマニフィケーションフレームワークを開発した。
  論文  参考訳（メタデータ） (2025-07-21T06:37:27Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Advancing Test-Time Adaptation in Wild Acoustic Test Settings [26.05732574338255]
  音声信号は短期的な一貫性に従い、特別な適応戦略を必要とする。 本研究では,ASR微調整音響基礎モデルに適した新しい音響TTA法を提案する。 本手法は,様々な音環境下での既存のベースラインよりも優れる。
  論文  参考訳（メタデータ） (2023-10-14T06:22:08Z)
• Assessing the Generalization Gap of Learning-Based Speech Enhancement Systems in Noisy and Reverberant Environments [0.7366405857677227]
  目に見えない条件への一般化は、通常、新しい音声、雑音または部屋のインパルス応答データベースでシステムをテストすることで評価される。 本研究では,テスト条件に基づいてトレーニングした参照モデルを用いた一般化評価フレームワークを提案する。 提案手法を用いて,フィードフォワードニューラルネットワーク(FFNN),ConvTasNet,DCCRN,MANNERの一般化ポテンシャルを評価する。
  論文  参考訳（メタデータ） (2023-09-12T12:51:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。