論文の概要: Qwen vs. Gemma Integration with Whisper: A Comparative Study in Multilingual SpeechLLM Systems
- arxiv url: http://arxiv.org/abs/2506.13596v1
- Date: Mon, 16 Jun 2025 15:23:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-17 17:28:48.796714
- Title: Qwen vs. Gemma Integration with Whisper: A Comparative Study in Multilingual SpeechLLM Systems
- Title（参考訳）: Qwen vs. Gemma Integration with Whisper: A Comparison Study in Multilingual SpeechLLM Systems
- Authors: Tuan Nguyen, Long-Vu Hoang, Huy-Dat Tran,
- Abstract要約: 本稿では,MLC-SLM Challenge 2025のための大規模言語モデル(LLM)を用いた多言語音声認識と言語モデリングに焦点を当てた。
本システムでは,Qwen2.5-7Bをデコーダのみの言語モデルとして,Gemma3-12Bと18.6%を用いて,プライベートテスト平均WER/CERの16.63%の競合性能を実現している。
- 参考スコア（独自算出の注目度）: 2.9034429823924865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents our system for the MLC-SLM Challenge 2025, focusing on multilingual speech recognition and language modeling with large language models (LLMs). Our approach combines a fine-tuned Whisper-large-v3 encoder with efficient projector architectures and various decoder configurations. We employ a three-stage training methodology that progressively optimizes the encoder, projector, and LLM components. Our system achieves competitive performance with a private test average WER/CER result of 16.63% using the Gemma3-12B and 18.6% using the Qwen2.5-7B as decoder-only language model.
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)を用いた多言語音声認識と言語モデリングに着目した MLC-SLM Challenge 2025 を提案する。
提案手法は,微調整されたWhisper-large-v3エンコーダと,効率的なプロジェクタアーキテクチャと各種デコーダ構成を組み合わせたものである。
エンコーダ,プロジェクタ,LLMコンポーネントを段階的に最適化する3段階のトレーニング手法を採用している。
本システムでは,Qwen2.5-7Bをデコーダのみの言語モデルとして,Gemma3-12Bと18.6%を用いて,プライベートテスト平均WER/CERの16.63%の競合性能を実現している。
関連論文リスト
- Zero-resource Speech Translation and Recognition with LLMs [38.11535502039386]
我々は,ペア音声テキストデータを見たことのない言語において,多言語大言語モデル(LLM)を用いてSTとASRを実行することを提案する。
我々は、事前訓練された多言語音声エンコーダ、多言語LLM、およびLLMのトークン埋め込み空間に音声表現をマッピングする軽量適応モジュールを用いて、これを実現する。
論文 参考訳（メタデータ） (2024-12-24T17:37:11Z) - Adapting Whisper for Code-Switching through Encoding Refining and Language-Aware Decoding [27.499426765845705]
コードスイッチング自動音声認識(ASR)はアクセント、聴覚的類似性、シームレスな言語スイッチによる言語混乱による課題に直面している。
我々は,大規模多言語事前学習音声認識モデルであるWhisperを,エンコーダ部とデコーダ部の両方からCSに適応させる。
論文 参考訳（メタデータ） (2024-12-21T07:06:44Z) - Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。
トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
論文 参考訳（メタデータ） (2024-01-11T18:54:44Z) - MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。
提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
論文 参考訳（メタデータ） (2024-01-07T08:59:32Z) - mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs [50.17767479660832]
視覚言語モデル(Vision-LLMs)は、事前訓練された画像エンコーダを(凍結した)大型言語モデル(LLMs)とポストホック条件LLMsに整合させ、画像入力を理解する。
我々は,マルチ言語LLMを利用した最初のビジョン-LLMであるmBLIPを,コンシューマレベルのハードウェア上で計算的に効率よく提供する。
論文 参考訳（メタデータ） (2023-07-13T17:51:58Z) - ESPnet-ST IWSLT 2021 Offline Speech Translation System [56.83606198051871]
本稿では,ESPnet-STグループによる音声翻訳トラックにおけるIWSLT 2021の提出について述べる。
今年は、データ、アーキテクチャ、オーディオセグメンテーションのトレーニングにさまざまな取り組みを行いました。
私たちの最高のE2Eシステムは、すべてのテクニックをモデルアンサンブルと組み合わせ、31.4BLEUを達成しました。
論文 参考訳（メタデータ） (2021-07-01T17:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。