論文の概要: The Multimodal Information Based Speech Processing (MISP) 2025 Challenge: Audio-Visual Diarization and Recognition

• arxiv url: http://arxiv.org/abs/2505.13971v1
• Date: Tue, 20 May 2025 06:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.77702
• Title: The Multimodal Information Based Speech Processing (MISP) 2025 Challenge: Audio-Visual Diarization and Recognition
• Title（参考訳）: マルチモーダル・インフォメーション・ベースの音声処理(MISP)2025チャレンジ:オーディオ・ビジュアル・ダイアリゼーションと認識
• Authors: Ming Gao, Shilong Wu, Hang Chen, Jun Du, Chin-Hui Lee, Shinji Watanabe, Jingdong Chen, Siniscalchi Sabato Marco, Odette Scharenborg,
• Abstract要約: MISP 2025 Challengeは、ビデオモダリティをオーディオと組み合わせることで、マルチモーダル、マルチデバイスミーティングの書き起こしに焦点を当てている。 最高の性能のシステムはベースラインよりも大幅に改善された。
• 参考スコア（独自算出の注目度）: 95.95622220065884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meetings are a valuable yet challenging scenario for speech applications due to complex acoustic conditions. This paper summarizes the outcomes of the MISP 2025 Challenge, hosted at Interspeech 2025, which focuses on multi-modal, multi-device meeting transcription by incorporating video modality alongside audio. The tasks include Audio-Visual Speaker Diarization (AVSD), Audio-Visual Speech Recognition (AVSR), and Audio-Visual Diarization and Recognition (AVDR). We present the challenge's objectives, tasks, dataset, baseline systems, and solutions proposed by participants. The best-performing systems achieved significant improvements over the baseline: the top AVSD model achieved a Diarization Error Rate (DER) of 8.09%, improving by 7.43%; the top AVSR system achieved a Character Error Rate (CER) of 9.48%, improving by 10.62%; and the best AVDR system achieved a concatenated minimum-permutation Character Error Rate (cpCER) of 11.56%, improving by 72.49%.
• Abstract（参考訳）: 会議は複雑な音響条件のため、音声応用には価値はあるが挑戦的なシナリオである。 本稿では,MISP 2025 Challengeが主催するInterspeech 2025で実施したMISP 2025 Challengeの結果を要約する。 タスクには、AVSD(Audio-Visual Speaker Diarization)、AVSR(Audio-Visual Speech Recognition)、AVDR(Audio-Visual Diarization and Recognition)がある。 参加者が提案する課題の目標,課題,データセット,ベースラインシステム,ソリューションについて述べる。 最上位のAVSDモデルではダイアリゼーションエラーレート(DER)が8.09%向上、7.43%改善、上位のAVSRシステムは9.48%改善、10.62%改善、最高のAVDRシステムは11.56%改善し、連結最小置換文字エラーレート(cpCER)が72.49%向上した。

関連論文リスト

• MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
  異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。 提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
  論文  参考訳（メタデータ） (2024-01-07T08:59:32Z)
• Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition [52.11964238935099]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
  論文  参考訳（メタデータ） (2023-07-06T10:50:46Z)
• On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition [53.17176024917725]
  話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。 本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T09:12:24Z)
• Robust Self-Supervised Audio-Visual Speech Recognition [29.526786921769613]
  本稿では,Audio-Visual HuBERT(AV-HuBERT)に基づく自己教師型音声視覚音声認識フレームワークを提案する。 利用可能な最大のAVSRベンチマークデータセットであるLSS3では、ラベル付きデータの10%未満を使用して、従来の最先端(28.0%対14.1%)よりも50%優れています。 我々のアプローチは、平均して75%以上(25.8%対5.8%)のオーディオベースモデルのWERを削減する。
  論文  参考訳（メタデータ） (2022-01-05T18:50:50Z)
• The HUAWEI Speaker Diarisation System for the VoxCeleb Speaker Diarisation Challenge [6.6238321827660345]
  本稿では,VoxCeleb Speaker Recognition Challenge 2020の話者ダイアリゼーショントラック(Track 4)のシステム構成について述べる。 我々のダイアリゼーションシステムは、入力音声信号のフロントエンドとして、よく訓練されたニューラルネットワークに基づく音声強調モデルから成り立っている。
  論文  参考訳（メタデータ） (2020-10-22T12:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。