論文の概要: Inference-Time Target Speaker Unlearning in LLM-Based Automatic Speech Recognition
- arxiv url: http://arxiv.org/abs/2609.30439v1
- Date: Thu, 24 Sep 2026 18:33:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.102866
- Title: Inference-Time Target Speaker Unlearning in LLM-Based Automatic Speech Recognition
- Title（参考訳）: LLMに基づく自動音声認識における推定時間目標話者の学習
- Abstract要約: マルチ話者ASRとダイアリゼーションのための完全なエンドツーエンドフレームワークにおいて、ターゲット話者アンラーニングASR(TSU-ASR)タスクを導入する。
凍結二重ストリーム音声LLMにアタッチ可能な,軽量なEnrollment-Conditioned Gating (ECG) モジュールを提案する。
我々のアプローチは、現代のビデオ会議プラットフォームに実用的なソリューションを提供し、話者は自動AIの書き起こしから動的にオプトアウトできる。
- 参考スコア（独自算出の注目度）: 10.798749027408688
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce target-speaker unlearning ASR (TSU-ASR) task in a fully end-to-end framework for multi-speaker ASR and diarization. Given a multi-speaker utterance and a set of opt-out speakers who do not wish to have their speech transcribed, the task requires an ASR system to transcribe all speakers except the opt-out ones, while still indicating when those speakers are active. As a first step towards tackling this task, we introduce a novel, light-weight Enrollment-Conditioned Gating (ECG) module attachable to a frozen dual-stream speech LLM that enables ASR for new opt-out speakers dynamically during inference, even those who were not seen during initial ECG training phase. Our experiments on both AMI (English) and AliMeeting (Mandarin) datasets show that speech transcription accuracy for corresponding opt-out words or characters falls from 72.3% to 48.2% and from 73.6% to 27.3%, respectively, while retained speakers' transcription error rates maintain more or less the same. Our approach provides a practical solution for modern video conferencing platforms, allowing speakers to dynamically opt-out from automated AI transcriptions without forcefully leaving the meeting sessions, enabling a privacy-preserving interface for potentially millions of online meetings daily.
- Abstract（参考訳）: マルチ話者ASRとダイアリゼーションのための完全なエンドツーエンドフレームワークにおいて、ターゲット話者アンラーニングASR(TSU-ASR)タスクを導入する。
複数話者の発話と音声の書き起こしを望まないオプトアウト話者のセットを与えられたタスクは、オプトアウト話者以外の全ての話者を転写するASRシステムを必要とする。
この課題に対処する第一歩として、凍結二重ストリーム音声LLMにアタッチ可能な、軽量なEnrollment-Conditioned Gating (ECG)モジュールを導入する。
AMI(英語)とAliMeeting(マンダリン)の2つのデータセットを用いて行った実験では、音声の発音精度は72.3%から48.2%、73.6%から27.3%に低下し、話者の書き起こし誤り率はほぼ同じである。
我々のアプローチは、現代のビデオ会議プラットフォームに実用的なソリューションを提供し、スピーカーは会議セッションを強制的に残さずに、自動AI書き起こしから動的にオプトアウトできる。
関連論文リスト
- Speaker-Reasoner: Scaling Interaction Turns and Reasoning Patterns for Timestamped Speaker-Attributed ASR [18.90091826363701]
Speaker-Reasonerはエージェント型マルチターン時間的推論を備えたエンドツーエンド音声LLMである。
Speaker-Reasonerは、AliMeetingとAISHELL-4データセットの強いベースラインよりも一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-04-03T14:52:20Z) - MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models [59.80042864360884]
話者分布自動音声認識(SA-ASR)は,対応する話者に文字を正確に割り当てながら音声を転写することを目的としている。
本稿では,凍結した多言語ASRモデルを用いて話者属性を転写に組み込む新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-27T09:01:08Z) - Empowering Whisper as a Joint Multi-Talker and Target-Talker Speech Recognition System [73.34663391495616]
本稿では,複数話者と目標話者の音声認識タスクを併用する先駆的手法を提案する。
具体的には、Whisperを凍結し、Sidecarセパレータをエンコーダに差し込み、複数の話者に対する混合埋め込みを分離する。
AishellMix Mandarin データセット上で,マルチストーカー ASR 上で許容できるゼロショット性能を提供する。
論文 参考訳（メタデータ） (2024-07-13T09:28:24Z) - End-to-End Joint Target and Non-Target Speakers ASR [34.44629766692854]
本稿では,新しい音声認識システム(ASR)を提案する。
個々の話者の発話を、ターゲット話者か非ターゲット話者かを識別しながら、書き起こすことができる。
論文 参考訳（メタデータ） (2023-06-04T06:38:15Z) - ASR data augmentation in low-resource settings using cross-lingual
multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。
対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
論文 参考訳（メタデータ） (2022-03-29T11:55:30Z) - Transcribe-to-Diarize: Neural Speaker Diarization for Unlimited Number
of Speakers using End-to-End Speaker-Attributed ASR [44.181755224118696]
Transcribe-to-Diarizeは、エンド・ツー・エンド(E2E)話者による自動音声認識(SA-ASR)を用いたニューラルスピーカーダイアリゼーションの新しいアプローチである。
提案手法は,話者数不明の場合に,既存の話者ダイアリゼーション法よりも高いダイアリゼーション誤差率を実現する。
論文 参考訳（メタデータ） (2021-10-07T02:48:49Z) - A Real-time Speaker Diarization System Based on Spatial Spectrum [14.189768987932364]
本稿では,話者ダイアリゼーションタスクにおける長年の課題に対処するための,新しい体系的アプローチを提案する。
まず, 指向性指向性マイクロホンアレイを用いたアプローチを用いて, 遠距離環境下でターゲット話者の声を捕捉する。
第2に,話者位置追跡のためのオンライン話者位置連成クラスタリング手法を提案する。
第3に、重複した音声を分離するメカニズムをトリガーするインスタント話者数検出器を開発する。
論文 参考訳（メタデータ） (2021-07-20T08:25:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。