論文の概要: Bangla-WhisperDiar: Fine-Tuning Whisper and PyAnnote for Bangla Long-Form Speech Recognition and Speaker Diarization
- arxiv url: http://arxiv.org/abs/2605.08214v1
- Date: Wed, 06 May 2026 10:35:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.46768
- Title: Bangla-WhisperDiar: Fine-Tuning Whisper and PyAnnote for Bangla Long-Form Speech Recognition and Speaker Diarization
- Title（参考訳）: Bangla-WhisperDiar:Bangla長文音声認識と話者ダイアリゼーションのための微調整WhisperとPyAnnote
- Abstract要約: この研究は、ASRと話者ダイアリゼーションのための堅牢なシステムを開発することにより、バングラ語言語理解における2つの中核課題に対処する。
ASR (Problem 1) では,約15,000個のチャンクとアライメントしたBangla音声セグメントのカスタマイズしたデータセットを用いて,Tugtugi bengaliai 地域のアサー・ウィスパーメディアモデルを微調整する。
話者ダイアリゼーション(Problem 2)では、PyTorch Lightning を用いたピアンノート/セグメンテーション-3.0モデルを、競合アノテートダイアリゼーションデータセット上で微調整する。
- 参考スコア（独自算出の注目度）: 1.1677859440338065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic Speech Recognition (ASR) and speaker diarization in Bangla remain challenging due to long form recordings, diverse acoustic conditions, and significant speaker variability. This work addresses these two core tasks in Bangla spoken language understanding by developing robust systems for long form ASR and speaker diarization. For ASR (Problem 1), we fine tune the tugstugi bengaliai regional asr whisper medium model on a custom-curated dataset of approximately 15,000 chunked and aligned Bangla audio segments, employing full weight training with extensive data augmentation including noise injection, reverb simulation, echo, clipping distortion, and pitch/time perturbation. For speaker diarization (Problem 2), we fine-tune the pyannote/segmentation-3.0 model using PyTorch Lightning on the competition annotated diarization dataset, swapping the fine-tuned segmentation backbone into the pyannote/speaker-diarization-community-1 pipeline while retaining the pretrained speaker embedding and clustering components. Our ASR system achieves a Word Error Rate (WER) of 0.2441, while our diarization system achieves a Diarization Error Rate (DER) of 0.2392, both evaluated on the test set, demonstrating notable improvements over the respective pretrained baselines. We describe our complete pipeline, including data preprocessing, text normalization, audio augmentation, training strategies, inference optimization, and post-processing for both tasks.
- Abstract（参考訳）: バングラ語における音声認識(ASR)と話者ダイアリゼーションは、長めの録音、多様な音響条件、有意な話者変動のために依然として困難である。
本研究は,長期ASRと話者ダイアリゼーションのための堅牢なシステムを開発することにより,バングラ語理解におけるこれらの2つの中核課題に対処する。
ASR(Problem 1)では,約15,000個のチャンクとアライメントされたBangla音声セグメントのカスタマイズされたデータセットに,雑音注入,リバーブシミュレーション,エコー,クリップング歪み,ピッチ/タイムの摂動を含む広範囲なデータ拡張によるフルウェイトトレーニングを施した,Tugtugi bengaliai地域アスパルメディアモデルを微調整する。
話者ダイアリゼーション (Problem 2) では、PyTorch Lightning を用いたピアンノート/セグメンテーション-3.0 モデルを、事前訓練された話者埋め込みとクラスタリングコンポーネントを維持しつつ、微調整されたセグメンテーションバックボーンをピアンノート/スピーカーダイアリゼーション-コミュニティ-1 パイプラインに置き換えて、競合するダイアリゼーションデータセット上で微調整する。
ASRシステムでは単語誤り率(WER)が0.2441、ダイアリゼーションシステムは0.2392のダイアリゼーション誤り率(DER)がそれぞれテストセットで評価され、各事前学習ベースラインに対して顕著な改善が見られた。
データ前処理、テキスト正規化、オーディオ拡張、トレーニング戦略、推論最適化、両方のタスクに対する後処理を含む、完全なパイプラインについて説明する。
関連論文リスト
- Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech [14.048968602801606]
本稿では,MLC-SLM 2026 Challenge のタスク1における自己設計型幻覚システムについて述べる。
このシステムはモジュラースピーカーダイアリゼーションフロントエンドとチャレンジ適応型Qwen3-ASR-1.7B認識器を組み合わせたものである。
論文 参考訳（メタデータ） (2026-07-09T08:07:34Z) - Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs [53.41256816230278]
最近のオーディオ大言語モデル(AudioLLMs)は、顕著な性能逆転を示す。
複雑な推論タスクには優れるが、音の微妙な知覚では一貫して性能が劣る。
音声情報を3つの明示的な構成要素に整理する総合的かつ構造化された監視フレームワークであるUnified Audio (UAS)を提案する。
論文 参考訳（メタデータ） (2026-04-14T09:30:12Z) - Make It Hard to Hear, Easy to Learn: Long-Form Bengali ASR and Speaker Diarization via Extreme Augmentation and Perfect Alignment [0.0]
Lipi-Ghor-882は、882時間のマルチスピーカーBengaliデータセットである。
ASRでは、生データスケーリングが非効率であることを示し、代わりに、合成音響劣化と組み合わせた完全整合アノテーションを用いた微調整を目標とした。
話者ダイアリゼーションでは、この複雑なデータセットでは、グローバルなオープンソースステート・オブ・ザ・アートモデルのパフォーマンスが驚くほど低かった。
論文 参考訳（メタデータ） (2026-02-26T14:59:24Z) - DASA: Difficulty-Aware Semantic Augmentation for Speaker Verification [55.306583814017046]
本稿では,話者認証のための難易度認識型セマンティック拡張(DASA)手法を提案する。
DASAは、話者埋め込み空間における多様なトレーニングサンプルを、無視できる余分な計算コストで生成する。
最も良い結果は、CN-Celeb評価セット上でのEER測定値の14.6%の相対的な減少を達成する。
論文 参考訳（メタデータ） (2023-10-18T17:07:05Z) - Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation
and Recognition [52.11964238935099]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。
オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
論文 参考訳（メタデータ） (2023-07-06T10:50:46Z) - Improving Noise Robustness of Contrastive Speech Representation Learning
with Speech Reconstruction [109.44933866397123]
実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。
雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。
ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
論文 参考訳（メタデータ） (2021-10-28T20:39:02Z) - WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech
Processing [102.45426364965887]
そこで本研究では,フルスタックダウンストリーム音声タスクを解決するための,事前学習型モデルWavLMを提案する。
WavLMはHuBERTフレームワークに基づいて構築されており、音声コンテンツモデリングと話者アイデンティティ保存の両方に重点を置いている。
トレーニングデータセットを60k時間から94k時間までの公開オーディオデータにスケールアップし、そのトレーニング手順を最適化して表現抽出を改善する。
論文 参考訳（メタデータ） (2021-10-26T17:55:19Z) - PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation
Extraction [90.55375210094995]
音声強調は、背景雑音の抑制による音声信号の知覚品質の向上を目的としている。
本稿では,頑健な話者表現抽出のためのエンドツーエンドディープラーニングフレームワークPL-EESRを提案する。
論文 参考訳（メタデータ） (2021-10-03T07:05:29Z) - Training Speech Enhancement Systems with Noisy Speech Datasets [7.157870452667369]
本稿では,雑音の多い音声データに基づいてSEシステムの訓練を行うための2つの改良を提案する。
まず、雑音の多い音声のターゲットに対して頑健な損失関数のいくつかの修正を提案する。
従来のシステムと比較して,ロバストな損失関数を用いることでPSSQが最大0.19向上することを示す。
論文 参考訳（メタデータ） (2021-05-26T03:32:39Z) - Data augmentation using prosody and false starts to recognize non-native
children's speech [12.911954427107977]
本稿では,AaltoASRによるInterSPEECH 2020共有音声認識タスクのための音声認識システムについて述べる。
本研究の課題は, 年齢の異なる子どもから, 限られた発話量で非母国語を識別することである。
論文 参考訳（メタデータ） (2020-08-29T05:32:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。