論文の概要: Omnilingual-MsASR: Benchmarking Multimodal, Multilingual, Long-Form Multi-Speaker ASR of Omni Large Language Models

• arxiv url: http://arxiv.org/abs/2610.29455v1
• Date: Wed, 21 Oct 2026 09:11:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.300128
• Title: Omnilingual-MsASR: Benchmarking Multimodal, Multilingual, Long-Form Multi-Speaker ASR of Omni Large Language Models
• Title（参考訳）: Omnilingual-MsASR:Omni大言語モデルのマルチモーダル,マルチリンガル,長期マルチスピーカASRのベンチマーク
• Abstract要約: マルチ話者音声認識のためのベンチマークであるOmnilingual-MsASRを紹介する。 6つの言語、最大30分間の録音、最大20人の講演者によるシナリオをカバーしている。 モデル間の整合性を評価するために、並列オーディオおよびビデオ入力を提供する。
• 参考スコア（独自算出の注目度）: 63.15382515971581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omni-modal large language models (LLMs) have achieved remarkable progress in audio and video understanding. However, existing models struggle with long-form, multi-speaker videos, especially in understanding the entire video and recognizing who says what and when. To characterize the capability limit of current omni LLMs and guide future model development, we introduce Omnilingual-MsASR, a multilingual, multimodal benchmark for long-form Multi-speaker Automatic Speech Recognition (MsASR) covering six languages, recordings up to 30 minutes, and scenarios with up to 20 speakers. Omnilingual-MsASR provides parallel audio and video inputs to evaluate models' cross-modal consistency and their ability to exploit complementary cues across modalities. Extensive evaluations of leading omni-modal LLMs reveal substantial performance bottlenecks, while their tcpWERs frequently exceed 100%. These findings highlight fine-grained temporal localization, speaker disambiguation, and cross-modal synergy as key challenges for future omni-modal foundation models. Our work is available at https://github.com/QwenLM/Omnilingua-Bench/tree/main/Omnilingua-MSpeaker.
• Abstract（参考訳）: Omni-modal large language model (LLM) は音声やビデオの理解において顕著な進歩を遂げている。 しかし、既存のモデルは長めのマルチスピーカービデオ、特にビデオ全体を理解し、誰がいつ何を言ったかを認識するのに苦労している。 Omnilingual-MsASRは,6つの言語,最大30分間の録音,最大20人の話者によるシナリオを対象とした,多言語多話者自動音声認識(MsASR)のためのマルチモーダルベンチマークである。 Omnilingual-MsASRは、モデル間の整合性を評価するために、並列オーディオおよびビデオ入力を提供する。 先行するOmni-Modal LLMの広範囲な評価は、大きなパフォーマンスボトルネックを示し、tcpWERは100%を超えることが多かった。 これらの知見は, 時空間の微粒化, 話者の曖昧さ, モーダル間の相乗効果が, 将来のオームニモーダル基礎モデルの鍵となる課題であることを示している。 私たちの仕事はhttps://github.com/QwenLM/Omnilingua-Bench/tree/main/Omnilingua-MSpeakerで公開しています。

関連論文リスト

• Turning Speech Language Models into Multilingual Listeners [32.61718861012176]
  音声言語問題を理解する言語モデル(SLM)は、少数の高ソース言語しかサポートしない。 このギャップは、多言語音声訓練データセットの不足に起因している。 我々は,23言語で1080万問合せ対の9200時間からなる大規模で人工的に生成され,人間によって検証されたデータセットであるMultiSPEECHQAを提案する。
  論文  参考訳（メタデータ） (2026-09-27T04:43:24Z)
• DiM\textsuperscript{3}: Bridging Multilingual and Multimodal Models via Direction- and Magnitude-Aware Merging [60.709970092170074]
  方向認識型マルチモーダルマージ(DiM3)を提案する。 LLaVAとQwenベースのバックボーンをまたいだ57言語をカバーする、テキストのみおよびビジョン言語設定のマルチ言語ベンチマークの実験。
  論文  参考訳（メタデータ） (2026-05-13T03:50:54Z)
• InteractiveOmni: A Unified Omni-modal Model for Audio-Visual Multi-turn Dialogue [35.99134148462425]
  音声-視覚的マルチターンインタラクションのための,統一的でオープンソースのOmni-Modal大言語モデルであるInteractive Omniを紹介する。 これを実現するために、視覚エンコーダ、オーディオエンコーダ、大言語モデル、音声デコーダを統合モデルに統合し、タスクの理解と生成を行う。 我々は、Omni-modal理解のための事前学習を含む、堅牢なクロスモーダル機能を確保するためのマルチステージトレーニング戦略を設計する。
  論文  参考訳（メタデータ） (2025-10-15T16:52:48Z)
• Lyra: An Efficient and Speech-Centric Framework for Omni-Cognition [57.131546757903834]
  Lyraはマルチモーダル能力を向上する効率的なMLLMであり、高度な長音声理解、音声理解、相互モダリティ効率、シームレスな音声対話などが含まれる。 Lyraは様々な視覚言語、視覚音声、音声言語のベンチマークで最先端のパフォーマンスを達成し、計算資源が少なく、訓練データも少ない。
  論文  参考訳（メタデータ） (2024-12-12T17:50:39Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。