論文の概要: Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

• arxiv url: http://arxiv.org/abs/2607.08208v2
• Date: Thu, 16 Jul 2026 03:28:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.829357
• Title: Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
• Title（参考訳）: 多言語2話者会話音声に対するダイアリゼーション誘導Qwen-ASR適応
• Abstract要約: 本稿では,MLC-SLM 2026 Challenge のタスク1における自己設計型幻覚システムについて述べる。 このシステムはモジュラースピーカーダイアリゼーションフロントエンドとチャレンジ適応型Qwen3-ASR-1.7B認識器を組み合わせたものである。
• 参考スコア（独自算出の注目度）: 14.048968602801606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes our self-designed system for Task 1 of the MLC-SLM 2026 Challenge for multilingual two-speaker conversational speech. The system combines a modular speaker diarization front end with a challenge-adapted Qwen3-ASR-1.7B recognizer. The diarization front end performs voice activity detection, subsegment generation, CAMPPlus speaker embedding extraction, two-speaker spectral clustering, and RTTM-based audio segmentation. The resulting speaker-attributed segments are grouped by language or region and decoded by the adapted ASR model. For ASR adaptation, we first perform supervised full fine-tuning on the official training data, then apply LoRA fine-tuning with synthetic speech generated by a three-pipeline TTS-based synthetic speech augmentation framework, and finally refine the model using GRPO reinforcement learning with rewards based on WER/CER and penalties for hallucination, repetition, and length deviation. On the official development set, the full system achieves an average tcpMER of 23.70, reducing the error rate by 6.83 absolute points relative to the released Qwen-ASR-1.7B performance. On the final evaluation set, the system achieves an average tcpMER of 17.97. Ablation results show that supervised fine-tuning provides the largest gain, while synthetic-speech LoRA adaptation and reinforcement learning further improve robustness.
• Abstract（参考訳）: 本稿では,MLC-SLM 2026チャレンジのタスク1の自己設計システムについて述べる。 このシステムはモジュラースピーカーダイアリゼーションフロントエンドとチャレンジ適応型Qwen3-ASR-1.7B認識器を組み合わせたものである。 ダイアリゼーションフロントエンドは、音声活動検出、サブセグメント生成、CAMPPlus話者埋め込み抽出、2話者スペクトルクラスタリング、RTTMベースの音声セグメンテーションを行う。 得られた話者対応セグメントは言語または地域によってグループ化され、適応されたASRモデルによってデコードされる。 ASR 適応では,まずオフィシャルトレーニングデータに基づいて教師付き完全微調整を行い,次に 3 つのTTS を用いた合成音声拡張フレームワークで生成した合成音声を用いて LoRA の微調整を行い,最後に WER/CER に基づく GRPO 強化学習と幻覚,反復,長さ偏差に対する罰則を応用してモデルを改良する。 公式な開発セットでは、システム全体の平均tcpMERは23.70であり、Qwen-ASR-1.7B と比較するとエラー率は 6.83 である。 最終評価セットでは、システムは17.97の平均tcpMERを達成する。 アブレーションの結果,教師付き微調整は最大利得を示し,合成音声LoRA適応と強化学習によりロバスト性はさらに向上した。

関連論文リスト

• Bangla-WhisperDiar: Fine-Tuning Whisper and PyAnnote for Bangla Long-Form Speech Recognition and Speaker Diarization [1.1677859440338065]
  この研究は、ASRと話者ダイアリゼーションのための堅牢なシステムを開発することにより、バングラ語言語理解における2つの中核課題に対処する。 ASR (Problem 1) では,約15,000個のチャンクとアライメントしたBangla音声セグメントのカスタマイズしたデータセットを用いて,Tugtugi bengaliai 地域のアサー・ウィスパーメディアモデルを微調整する。 話者ダイアリゼーション(Problem 2)では、PyTorch Lightning を用いたピアンノート/セグメンテーション-3.0モデルを、競合アノテートダイアリゼーションデータセット上で微調整する。
  論文  参考訳（メタデータ） (2026-05-06T10:35:58Z)
• When Fine-Tuning Fails and when it Generalises: Role of Data Diversity and Mixed Training in LLM-based TTS [0.42970700836450487]
  TTSの言語モデルバックボーンの微調整は、音声の一貫性と信号対雑音比SNRを改善することを約束している。 話者の忠実度は全ての評価話者に対して改善され、声の類似性が一貫した増加を示す。 音響エネルギーと知覚品質のばらつきが高い話者は、DNS-MOS音声の類似性とSNRの同時向上を実現する。
  論文  参考訳（メタデータ） (2026-03-11T15:48:11Z)
• Transsion Multilingual Speech Recognition System for MLC-SLM 2025 Challenge [18.816408172588144]
  本稿では,MLC-SLM 2025 Challengeのトラック1用トランスミッション音声チームが開発した,新しい多言語自動音声認識(ASR)システムのアーキテクチャと性能について述べる。 提案システムは,(1)凍結したWhisper-large-v3ベースの音声エンコーダで,大規模事前学習を利用してロバストな音響特徴抽出を実現する。 事前訓練されたモデルとタスク固有の微調整を体系的に組み合わせることで、11言語で9.83%の単語/文字エラー率(WER/CER)を達成した。
  論文  参考訳（メタデータ） (2025-08-15T10:39:05Z)
• Seewo's Submission to MLC-SLM: Lessons learned from Speech Reasoning Language Models [4.917936997225074]
  MLC-SLM(Multilingual Conversational Speech Language Model Challenge)の両トラック用システム ASRのための音声モデルにおいて、推論と自己補正を明確に強化する多段階学習パイプラインを導入する。
  論文  参考訳（メタデータ） (2025-06-16T09:42:05Z)
• MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models [59.80042864360884]
  話者分布自動音声認識(SA-ASR)は,対応する話者に文字を正確に割り当てながら音声を転写することを目的としている。 本稿では,凍結した多言語ASRモデルを用いて話者属性を転写に組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-27T09:01:08Z)
• Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
  本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
  論文  参考訳（メタデータ） (2024-07-08T18:20:24Z)
• Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition [52.11964238935099]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
  論文  参考訳（メタデータ） (2023-07-06T10:50:46Z)
• Analyzing And Improving Neural Speaker Embeddings for ASR [54.30093015525726]
  本稿では,コンバータをベースとしたハイブリッドHMM ASRシステムに,ニューラルスピーカーの埋め込みを統合するための取り組みについて述べる。 話者埋め込みを用いたコンフォーマーベースハイブリッドASRシステムは, SWB 300hでのトレーニングにより, Hub5'00 と Hub5'01 で 9.0% WER を達成する。
  論文  参考訳（メタデータ） (2023-01-11T16:56:03Z)
• Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
  調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。 本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。 生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
  論文  参考訳（メタデータ） (2022-06-15T07:20:28Z)
• On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition [53.17176024917725]
  話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。 本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T09:12:24Z)
• The Volcspeech system for the ICASSP 2022 multi-channel multi-party meeting transcription challenge [18.33054364289739]
  本稿ではICASSP 2022 Multi-channel Multi-party Meeting Transcription (M2MeT) Challengeについて述べる。 トラック1では,クラスタリングに基づく話者ダイアリゼーションシステムを実現するために,いくつかのアプローチを提案する。 トラック2では,コンバータモデルを用いた共同CTCアテンションアーキテクチャを用いたシステムを開発した。
  論文  参考訳（メタデータ） (2022-02-09T03:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。