論文の概要: The Last Mile of Deepfake Speech Detection: An Industry-Academia Experience Report
- arxiv url: http://arxiv.org/abs/2608.17585v1
- Date: Tue, 18 Aug 2026 09:50:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.297601
- Title: The Last Mile of Deepfake Speech Detection: An Industry-Academia Experience Report
- Title（参考訳）: ディープフェイク音声検出の最後のマイル:産学経験報告
- Abstract要約: 合成音声検出ベンチマークでは、いくつかのドメイン内の評価で1%未満のエラー率が報告されているが、未確認の攻撃、チャネルミスマッチ、分散シフトによるパフォーマンス低下が報告されている。
我々は、検出器の構築および展開中に遭遇した障壁を報告した。
これらの観察は、あるプロジェクトから得られ、他の設定でテストされるべきである。
- 参考スコア（独自算出の注目度）: 0.17398560678845076
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Synthetic speech detection benchmarks now report sub-1% error rates on some in-domain evaluations, yet performance degrades under unseen attacks, channel mismatch, and distribution shift. Based on a three-year effort with Phonexia, a commercial speaker-recognition vendor, we report barriers encountered while building and deploying a detector. Many public benchmarks are not licensed for commercial model development. Real inputs are not four-second clean clips but long, codec-degraded, sometimes partially synthetic recordings. And when a calibrated system returns a log-likelihood ratio of 2.5, no one can tell the customer what it means for their decision. Rather than proposing a new model, we connect these barriers to concrete research and coordination proposals: shared standards for commercially usable datasets, realistic deployment benchmarks, and scores that non-experts can act on. These observations come from one project and should be tested in other settings.
- Abstract（参考訳）: 合成音声検出ベンチマークでは、いくつかのドメイン内の評価で1%未満のエラー率が報告されているが、未確認の攻撃、チャネルミスマッチ、分散シフトによるパフォーマンス低下が報告されている。
市販の話者認識ベンダーであるPhonexiaとの3年間の取り組みに基づいて、検出器の構築とデプロイ中に発生する障壁を報告する。
多くの公開ベンチマークは商用モデル開発のためにライセンスされていない。
実際の入力は4秒のクリーンクリップではなく、長いコーデックで分解され、時には部分的に合成記録される。
そして、キャリブレーションされたシステムがログライクな比率2.5を返すと、その決定の意味を顧客に伝えることはできない。
新しいモデルを提案するのではなく、これらの障壁を、商業的に使用可能なデータセットの共有標準、現実的なデプロイメントベンチマーク、非専門家が実行可能なスコアなど、具体的な調査と調整の提案に結びつけています。
これらの観察は、あるプロジェクトから得られ、他の設定でテストされるべきである。
関連論文リスト
- No Detectable Change in Side-Level WER from Prompt-Level Context: A Preregistered Ablation on a Production Oral-History Corpus [0.0]
大規模なマルチモーダルモデルに推論時にコンテキストを供給することは、音声の書き起こしをドメインに適応させるための安価なレバーである。
本研究は、そのメカニズムを、自身の生産コーパスからのサンプルに基づいて、生産された口頭歴史書写ツールの即時条件付け層で検証した。
論文 参考訳（メタデータ） (2026-08-28T21:26:35Z) - SteelBench: Evaluating Vision-Language Models in Real-World Industrial Environments [0.48904891615709184]
SteelBenchは産業監視のための診断ベンチマークである。
作業者ごとの活動認識、安全ルール推論、アノテーション証明を共同で評価する。
1,345本の密接な注釈付きクリップがあり、149時間のプラントの映像からキュレーションされている。
論文 参考訳（メタデータ） (2026-07-06T16:11:45Z) - PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。
飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。
1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文 参考訳（メタデータ） (2026-06-26T17:59:15Z) - Position: Coding Benchmarks Are Misaligned with Agentic Software Engineering [0.4509560087514856]
コーディングエージェントは、ソフトウェアエンジニアリングの主要なモードになっていますが、比較に使用するベンチマークは、前エージェント時代に設計されました。
現在のコーディングベンチマークはエージェント型ソフトウェアエンジニアリングと不一致である、と私たちは主張する。
論文 参考訳（メタデータ） (2026-06-16T11:21:01Z) - Are We Overconfident in Models and Results for Semi-Supervised 3D Medical Image Segmentation? [4.120238673372104]
半教師付き学習は、アノテーションのコストを削減する主要なパラダイムとなっている。
現在の進歩は2倍の過信問題によって曇っていると我々は主張する。
本稿では,二軸信頼性評価エンジン上に構築した三空間原理分割フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T08:16:40Z) - Deployment-Relevant Alignment Cannot Be Inferred from Model-Level Evaluation Alone [11.663456969895462]
機械学習におけるアライメント評価は、主にモデルの評価となっている。
本稿では, モデルレベルの評価だけでは, 配置関連アライメントを推定できないことを論じる。
論文 参考訳（メタデータ） (2026-05-06T03:28:30Z) - VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。
これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。
GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。
その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
論文 参考訳（メタデータ） (2026-04-02T03:29:43Z) - WESR: Scaling and Evaluating Word-level Event-Speech Recognition [59.21814194620928]
音声は言語情報だけでなく、笑ったり泣いたりするような豊富な非言語的な音声イベントも伝達する。
我々は,21の発声イベントの分類を改良し,個別(スタンドアローン)と連続(音声と混合)に分類した。
改良された分類法に基づくWESR-Benchは,新しい位置認識プロトコルを備えた専門家アノテート評価セット(900以上の発話)である。
論文 参考訳（メタデータ） (2026-01-08T02:23:21Z) - Why Speech Deepfake Detectors Won't Generalize: The Limits of Detection in an Open World [11.238970239267248]
音声ディープフェイク検出器は、しばしばクリーンでベンチマークスタイルの条件で評価される。
しかしデプロイメントは、デバイスのシフト、サンプリング率、コーデック、環境、攻撃家族といったオープンな世界で発生します。
これにより、AIベースの検出器に対する"カバレッジ負債"が発生し、収集可能なデータよりも高速に成長するデータ盲点が生成される。
論文 参考訳（メタデータ） (2025-09-23T20:27:04Z) - SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions [54.34001921326444]
話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。
既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。
SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
論文 参考訳（メタデータ） (2025-09-21T14:11:16Z) - Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
モデル信頼性の定量化について検討する。
信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。
我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
論文 参考訳（メタデータ） (2025-02-05T18:58:19Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。