論文の概要: RoleHear: Pseudo-Labeling for Semi-Supervised Role-Attributed Streaming Speech Recognition

• arxiv url: http://arxiv.org/abs/2610.33765v1
• Date: Sat, 24 Oct 2026 16:17:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.439533
• Title: RoleHear: Pseudo-Labeling for Semi-Supervised Role-Attributed Streaming Speech Recognition
• Title（参考訳）: RoleHear: 半教師付きロール分散ストリーミング音声認識のための擬似ラベル
• Abstract要約: RoleHearは、キャッシュ対応のストリーミングトランスデューサを、軽量なインボキャブラリロールトークンを通じて、インラインでロールを出力する、半教師付きパイプラインである。 オフライントランスデューサの教師は、ロールアタッチメントされた認識器に微調整され、ラベルなしオーディオにラベル付けされ、マルチモーダルの大規模言語モデルがゴールドアノテーションが利用できない銀ロールラベルを提供する。
• 参考スコア（独自算出の注目度）: 14.319539695311661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming automatic speech recognition transcribes at low latency but produces an unattributed word stream, while real-time applications such as customer-service analytics need each word tied to a speaker role. Role attribution is usually a separate stage, either an offline or streaming speaker-diarization model aligned to the words or a text-based large language model applied to the transcript, and role labels for training are scarce. We present RoleHear, a semi-supervised pipeline that makes a single cache-aware streaming transducer emit roles inline through lightweight in-vocabulary role tokens: a fast turn-boundary marker followed by a per-role token a few words later. An offline transducer teacher, fine-tuned into a role-attributed recognizer, relabels unlabeled audio, and a multimodal large language model supplies silver role labels where gold annotations are unavailable. The streaming student is fine-tuned on the mixture in a single pass. Across customer-service calls with gold roles and earnings calls with silver roles, RoleHear attributes roles accurately while preserving transcription quality and narrowing the gap to the offline teacher.
• Abstract（参考訳）: ストリーミングの自動音声認識は低レイテンシで書き起こされるが、分散されていないワードストリームを生成する。 ロール属性は、通常、単語に一致したオフラインまたはストリーミングのスピーカーダイアリゼーションモデルまたはテキストベースの大規模言語モデルのいずれかで、別のステージであり、トレーニング用のロールラベルは少ない。 キャッシュ対応のストリーミングトランスデューサを1つにまとめた半教師付きパイプラインであるRoleHearを,高速なターンバウンダリマーカー,数ワード後にロール単位のトークンとして,軽量なインボキャブラリロールトークンを通じてインラインでロールを出力する。 オフライントランスデューサの教師は、ロールアタッチメントされた認識器に微調整され、ラベルなしオーディオにラベル付けされ、マルチモーダルの大規模言語モデルがゴールドアノテーションが利用できない銀ロールラベルを提供する。 ストリーミングの学生は、1回のパスで混合物に微調整されます。 顧客サービスコールとゴールドロール、シルバーロールとの収支コールの他に、RoleHearは転写品質を保ち、オフラインの教師とのギャップを狭めながら、役割を正確に評価している。

関連論文リスト

• StreamHear: Domain-Adapted Pseudo-Labeling for Semi-Supervised Streaming Speech Recognition [14.601455382857166]
  StreamHearは、オフライントランスデューサの教師を微調整することで、トレーニング済みのストリーミング学生に適応する半教師付きパイプラインである。 本稿では、オフラインのトランスデューサ教師を微調整することで、事前学習したストリーミング学生に適応する半教師付きパイプラインStreamHearを提案する。
  論文  参考訳（メタデータ） (2026-08-13T19:23:02Z)
• Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning [57.22705949022221]
  RoleJudgeは、音声大言語モデルを利用して、音声と文字のアライメントを評価する評価フレームワークである。 連鎖推論アノテーションを付加した最初の音声ロールプレイング評価データセットであるRoleChatを紹介する。
  論文  参考訳（メタデータ） (2026-04-15T12:39:03Z)
• Refining Transcripts With TV Subtitles by Prompt-Based Weakly Supervised Training of ASR [15.311893064721858]
  本研究では、弱教師付き(WS)自動音声認識(ASR)フレームワークにおいて、テレビ字幕を使用するための新しい手法を提案する。 本手法では,字幕を直接監視信号として使用するのではなく,文脈に富むプロンプトとして再認識する。 生成された擬似転写文字が主要なターゲットとなり、字幕は反復的洗練のための導出手段として機能する。
  論文  参考訳（メタデータ） (2025-09-01T11:43:07Z)
• SpeechRole: A Large-Scale Dataset and Benchmark for Evaluating Speech Role-Playing Agents [72.79816494079833]
  ロールプレイングエージェントは、パーソナライズされた相互作用と感情共鳴を達成するための有望なパラダイムとして登場した。 既存の研究は主にテキストのモダリティに焦点を当て、現実的な対話的なシナリオにおける音声の重要な次元を無視している。 我々は,98の多様な役割と112kの音声ベースの1ターン・マルチターン会話からなる大規模かつ高品質なデータセットであるSpeechRole-Dataを構築した。
  論文  参考訳（メタデータ） (2025-08-04T03:18:36Z)
• Streaming Multi-talker Speech Recognition with Joint Speaker Identification [77.46617674133556]
  SURITは、音声認識と話者識別の両方のバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を採用しています。 Librispeechから派生したマルチストーカーデータセットであるLibrispeechデータセットに関するアイデアを検証し、奨励的な結果を提示した。
  論文  参考訳（メタデータ） (2021-04-05T18:37:33Z)
• Unsupervised Transfer of Semantic Role Models from Verbal to Nominal Domain [65.04669567781634]
  そこで本研究では,目的の名詞領域のラベル付きデータのみを用いて,目的の名詞領域のロールアノテートデータを仮定するトランスファーシナリオについて検討する。 我々の重要な前提は、二つの領域間の移動を可能にすることであり、ある役割の選択的選好は、その関係が動詞または名詞によって引き起こされるかどうかに強く依存しないということである。 この手法は、英語のCoNLL-2009データセットに基づいて、教師なしや直接転送などのベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2020-05-01T09:20:48Z)
• Multi-task Learning for Speaker Verification and Voice Trigger Detection [18.51531434428444]
  両タスクを共同で行うための1つのネットワークのトレーニングについて検討する。 本研究では,数千時間のラベル付きトレーニングデータを用いてモデルを訓練する大規模実証的研究を提案する。 以上の結果から,学習表現において,両話者情報を符号化できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-26T21:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。