論文の概要: Turning Speech Language Models into Multilingual Listeners

• arxiv url: http://arxiv.org/abs/2609.33204v1
• Date: Sun, 27 Sep 2026 04:43:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 02:15:27.936131
• Title: Turning Speech Language Models into Multilingual Listeners
• Title（参考訳）: 言語モデルから多言語リスナーへの変換
• Abstract要約: 音声言語問題を理解する言語モデル(SLM)は、少数の高ソース言語しかサポートしない。 このギャップは、多言語音声訓練データセットの不足に起因している。 我々は,23言語で1080万問合せ対の9200時間からなる大規模で人工的に生成され,人間によって検証されたデータセットであるMultiSPEECHQAを提案する。
• 参考スコア（独自算出の注目度）: 32.61718861012176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech Language Models (SLMs) that understand spoken language questions support only a few high-resource languages, limiting access to millions of people worldwide. This gap stems from the scarcity of multilingual speech instruction-tuning datasets. We present MULTISPEECHQA, a large-scale, synthetically generated and human-verified dataset comprising 9200 hours of 10.8 million spoken question-answer pairs in 23 typologically diverse languages. Using MULTISPEECHQA, we also introduce MULTISPEECH-BENCH, a multi-task benchmark for evaluating SLM performance on 23 languages. We compare the performance of a cascading system to open-weight and closed SLMs on MULTISPEECH-BENCH and find that the cascading system outperforms open-weight SLMs but not all closed SLMs. We use MULTISPEECHQA to finetune Qwen 2.5-Omni, which improves its performance on our benchmark. Our findings show that high-quality synthetic datasets offer a cheap solution to improving the multilingual capabilities of SLMs.
• Abstract（参考訳）: 音声言語問題を理解する言語モデル(SLM)は、世界中の何百万人もの人へのアクセスを制限するために、少数の高ソース言語しかサポートしていない。 このギャップは、多言語音声訓練データセットの不足に起因している。 我々は,23言語で1080万問合せ対の9200時間からなる大規模で人工的に生成され,人間によって検証されたデータセットであるMultiSPEECHQAを提案する。 また、MultiSPEECHQAを用いて、23言語でのSLM性能を評価するマルチタスクベンチマークであるMultiSPEECH-BENCHを導入する。 カスケードシステムの性能をMultiSPEECH-BENCH上のオープンウェイトおよびクローズドSLMと比較し、カスケードシステムはオープンウェイトSLMよりも優れているが、すべてのクローズドSLMより優れていることを発見した。 我々はMultiSPEECHQAを用いてQwen 2.5-Omniを微調整する。 以上の結果から,高品質な合成データセットは,SLMの多言語機能向上のための安価なソリューションであることがわかった。

関連論文リスト

• M-Prometheus: A Suite of Open Multilingual LLM Judges [65.63858815169924]
  M-Prometheusは,多言語出力の直接評価とペア比較フィードバックを両立できるオープンウェイトLLM判定器のスイートである。 M-Prometheusモデルは、20以上の言語にまたがる多言語報酬ベンチマークや、4つの言語対をカバーする文語機械翻訳(MT)評価において、最先端のLLM判事より優れている。
  論文  参考訳（メタデータ） (2025-04-07T11:37:26Z)
• Multilingual Machine Translation with Open Large Language Models at Practical Scale: An Empirical Study [13.409987421121405]
  GemmaX2-28は、28言語で最上位の多言語翻訳性能を達成する9Bモデルである。 GemmaX2-28 は TowerInstruct や XALMA などの最先端 (SOTA) モデルより一貫して優れている。
  論文  参考訳（メタデータ） (2025-02-04T16:57:03Z)
• Zero-resource Speech Translation and Recognition with LLMs [38.11535502039386]
  我々は,ペア音声テキストデータを見たことのない言語において,多言語大言語モデル(LLM)を用いてSTとASRを実行することを提案する。 我々は、事前訓練された多言語音声エンコーダ、多言語LLM、およびLLMのトークン埋め込み空間に音声表現をマッピングする軽量適応モジュールを用いて、これを実現する。
  論文  参考訳（メタデータ） (2024-12-24T17:37:11Z)
• LLMs Beyond English: Scaling the Multilingual Capability of LLMs with Cross-Lingual Feedback [61.23008372927665]
  我々はLLaMAとBLOOMの多言語機能を100言語に拡張するxLLMs-100を紹介する。 5つの多言語ベンチマークでxLLMs-100の多言語理解と生成能力を評価する。
  論文  参考訳（メタデータ） (2024-06-03T20:25:12Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Mitigating Language-Level Performance Disparity in mPLMs via Teacher Language Selection and Cross-lingual Self-Distillation [25.850573463743352]
  大規模多言語事前訓練言語モデル(mPLMs)は、言語横断タスクにおいて優れた性能を発揮する。 しかし、mPLM内では異なる言語にまたがって大きな性能格差が存在する。 我々は ALSACE を導入し,優れた言語から学んだ知識を活用して,mPLM の低性能言語を誘導する。
  論文  参考訳（メタデータ） (2024-04-12T14:19:16Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。