論文の概要: MLLM-based Speech Recognition: When and How is Multimodality Beneficial?

• arxiv url: http://arxiv.org/abs/2507.19037v1
• Date: Fri, 25 Jul 2025 07:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 16:16:48.870497
• Title: MLLM-based Speech Recognition: When and How is Multimodality Beneficial?
• Title（参考訳）: MLLMに基づく音声認識:マルチモーダリティはいつ、どのように有効か?
• Authors: Yiwen Guan, Viet Anh Trinh, Vivek Voleti, Jacob Whitehill,
• Abstract要約: マルチモーダル大言語モデル(MLLM)は、音声、テキスト、画像、その他のモダリティの統一モデリングのための新たな可能性を開いた。 本稿では,複数の入力モードが雑音環境下で自動音声認識(ASR)の精度を向上させる条件とモデルアーキテクチャについて検討する。
• 参考スコア（独自算出の注目度）: 12.662031101992968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in multi-modal large language models (MLLMs) have opened new possibilities for unified modeling of speech, text, images, and other modalities. Building on our prior work, this paper examines the conditions and model architectures under which multiple input modalities can improve automatic speech recognition (ASR) accuracy in noisy environments. Through experiments on synthetic and real-world data, we find that (1) harnessing more modalities usually improves ASR accuracy, as each modality provides complementary information, but the improvement depends on the amount of auditory noise. (2) Synchronized modalities (e.g., lip movements) are more useful at high noise levels whereas unsynchronized modalities (e.g., image context) are most helpful at moderate noise levels. (3) Higher-quality visual representations consistently improve ASR accuracy, highlighting the importance of developing more powerful visual encoders. (4) Mamba exhibits similar trends regarding the benefits of multimodality as do Transformers. (5) The input order of modalities as well as their weights in the loss function can significantly impact accuracy. These findings both offer practical insights and help to deepen our understanding of multi-modal speech recognition under challenging conditions.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の最近の進歩は、音声、テキスト、画像、その他のモダリティの統一モデリングに新たな可能性をもたらした。 そこで本研究では,複数の入力モードが雑音環境下で自動音声認識(ASR)の精度を向上させる条件とモデルアーキテクチャについて検討する。 合成および実世界のデータを用いた実験により,(1)高次モーダル性を利用すると,各モーダルが相補的な情報を提供するため,通常,ASRの精度が向上するが,その改善は聴覚ノイズの量に依存することがわかった。 2) 同期モード(例えば唇の動き)は高雑音レベルにおいて有用であるのに対し,非同期モード(例えば画像コンテキスト)は中音レベルにおいて最も有用である。 (3)高品質な視覚表現は、ASRの精度を一貫して向上させ、より強力な視覚エンコーダを開発することの重要性を強調している。 (4)Mambaは変換器と同様のマルチモーダリティの利点を示す。 (5) モダリティの入力順序と損失関数の重み付けは精度に大きな影響を及ぼす可能性がある。 これらの知見は共に実践的な洞察を与え、困難条件下でのマルチモーダル音声認識の理解を深める助けとなる。

関連論文リスト

• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• R1-Omni: Explainable Omni-Multimodal Emotion Recognition with Reinforcement Learning [11.614909833431808]
  本稿では,感情認識の文脈におけるOmni-multimodalな大規模言語モデルに対するReinforcement Learning with Verifiable Reward (RLVR)の最初の応用について述べる。 我々はRLVRを利用してOmniモデルを最適化し、推論能力、感情認識精度、一般化能力の3つの重要な側面でその性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-03-07T12:46:42Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Lyra: An Efficient and Speech-Centric Framework for Omni-Cognition [57.131546757903834]
  Lyraはマルチモーダル能力を向上する効率的なMLLMであり、高度な長音声理解、音声理解、相互モダリティ効率、シームレスな音声対話などが含まれる。 Lyraは様々な視覚言語、視覚音声、音声言語のベンチマークで最先端のパフォーマンスを達成し、計算資源が少なく、訓練データも少ない。
  論文  参考訳（メタデータ） (2024-12-12T17:50:39Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• Multi-modal Speech Transformer Decoders: When Do Multiple Modalities Improve Accuracy? [12.662031101992968]
  合成および実世界の両方のデータセットにおける認識精度に対する多重モーダル性の影響について検討する。 音声認識のための補足的モダリティとしてのイメージは、中等度雑音レベルにおいて最大の利益をもたらす。 最も関連性の高い視覚情報が前処理ステップとしてフィルタリングされる場合、合成データセットと実世界のデータセットの両方のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2024-09-13T22:18:45Z)
• Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning [25.743503223389784]
  我々は、MSRLと呼ばれる強化学習(RL)ベースのフレームワークを提案する。 タスク固有のメトリクスに直接関連する報酬関数をカスタマイズする。 LRS3データセットによる実験結果から,提案手法は清浄な騒音条件と各種雑音条件の両方で最先端の手法を実現することが示された。
  論文  参考訳（メタデータ） (2022-12-10T14:01:54Z)
• Exploiting Transformation Invariance and Equivariance for Self-supervised Sound Localisation [32.68710772281511]
  本稿では,映像中の音源をローカライズするために,音声・視覚表現学習のための自己教師型フレームワークを提案する。 我々のモデルは、Flickr-SoundNet と VGG-Sound という2つの音像定位ベンチマークにおいて、従来の手法よりも優れていた。 このことから,提案するフレームワークは,局所化や一般化に有益である強いマルチモーダル表現を学習し,さらなる応用を図っている。
  論文  参考訳（メタデータ） (2022-06-26T03:00:02Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)
• Discriminative Multi-modality Speech Recognition [17.296404414250553]
  視覚は、しばしば音声音声認識(ASR)の相補的モダリティとして使用される。 本稿では,2段階音声認識モデルを提案する。 第1段階では、対象の音声を、対応する唇の動きの視覚情報から助けを借りて背景雑音から分離し、モデル「リスト」を明確にする。 第2段階では、音声モダリティは視覚的モダリティを再び組み合わせて、MSRサブネットワークによる音声の理解を深め、認識率をさらに向上させる。
  論文  参考訳（メタデータ） (2020-05-12T07:56:03Z)
• Mutual Information Maximization for Effective Lip Reading [99.11600901751673]
  本稿では,局所的特徴レベルとグローバルなシーケンスレベルの両方について,相互情報制約を導入することを提案する。 これら2つの利点を組み合わせることで, 有効な唇読解法として, 識別性と頑健性の両方が期待できる。
  論文  参考訳（メタデータ） (2020-03-13T18:47:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。