論文の概要: Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training

• arxiv url: http://arxiv.org/abs/2404.10922v1
• Date: Tue, 16 Apr 2024 21:45:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 17:42:39.993709
• Title: Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training
• Title（参考訳）: 多言語大言語モデルを用いた多言語学習による多言語音声の理解
• Authors: Pavel Denisov, Ngoc Thang Vu,
• Abstract要約: BLOOMZMMSは多言語LLMと多言語音声エンコーダを統合する新しいモデルである。 本稿では,言語知識のテキストから音声モダリティへの伝達性を示す。 ゼロショット評価の結果は、複数のタスクにまたがるアプローチの堅牢性を確認します。
• 参考スコア（独自算出の注目度）: 29.47243668154796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in language modeling have led to the emergence of Large Language Models (LLMs) capable of various natural language processing tasks. Despite their success in text-based tasks, applying LLMs to the speech domain remains limited and challenging. This paper presents BLOOMZMMS, a novel model that integrates a multilingual LLM with a multilingual speech encoder, aiming to harness the capabilities of LLMs for speech recognition and beyond. Utilizing a multi-instructional training approach, we demonstrate the transferability of linguistic knowledge from the text to the speech modality. Our experiments, conducted on 1900 hours of transcribed data from 139 languages, establish that a multilingual speech representation can be effectively learned and aligned with a multilingual LLM. While this learned representation initially shows limitations in task generalization, we address this issue by generating synthetic targets in a multi-instructional style. Our zero-shot evaluation results confirm the robustness of our approach across multiple tasks, including speech translation and multilingual spoken language understanding, thereby opening new avenues for applying LLMs in the speech domain.
• Abstract（参考訳）: 言語モデリングの最近の進歩は、様々な自然言語処理タスクが可能な大規模言語モデル(LLM)の出現につながっている。 テキストベースのタスクの成功にもかかわらず、LLMを音声領域に適用することは限定的で困難なままである。 本稿では,多言語LLMと多言語音声エンコーダを統合した新しいモデルBLOOMZMMSを提案する。 マルチインストラクショナル・トレーニング・アプローチを用いて,テキストから音声モダリティへの言語知識の伝達性を示す。 1900年に129の言語から書き起こされたデータを用いて実験を行い、多言語表現を効果的に学習し、多言語LLMと整合させることを確かめた。 この学習された表現は、最初はタスクの一般化の限界を示すが、多指導スタイルで合成対象を生成することでこの問題に対処する。 ゼロショット評価の結果、音声翻訳や多言語言語理解など、複数のタスクにまたがるアプローチの堅牢性を確認し、LLMを音声領域に適用するための新たな道を開いた。

関連論文リスト

• Speech Recognition Rescoring with Large Speech-Text Foundation Models [20.145389016219106]
  大規模言語モデル(LLM)は、大量のテキストデータを活用することで、人間の言語を理解する能力を示した。 自動音声認識(ASR)システムは、しばしば利用可能な転写音声データによって制限される。 最近の多モーダルな言語モデルでは、強い音声言語理解が示されている。
  論文  参考訳（メタデータ） (2024-09-25T06:17:23Z)
• Enhancing Multilingual Speech Generation and Recognition Abilities in LLMs with Constructed Code-switched Data [30.966072545451183]
  本論文では,MutltiLingual MultiTask (MLMT)モデルを提案する。 我々は,異なる言語からの単語を分割し,CSデータに頼ることなくCS能力を備えた合成を行う,効果的なデータ構築手法を開発した。
  論文  参考訳（メタデータ） (2024-09-17T08:11:07Z)
• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 提案手法では,WavLMとWhisperエンコーダを用いて,話者の特徴や意味的文脈に敏感な多面的音声表現を抽出する。 包括的実験により,カクテルパーティーのシナリオにおいて提案システムであるMT-LLMが期待できる性能を示した。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• How Vocabulary Sharing Facilitates Multilingualism in LLaMA? [19.136382859468693]
  大きな言語モデル(LLM)は英語のタスクに強いパフォーマンスを示すが、他の言語には制限がある。 本研究では,語彙共有の観点からLLMの多言語的能力について検討する。
  論文  参考訳（メタデータ） (2023-11-15T16:13:14Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification [73.5497360800395]
  複数の言語をサポートするエンドツーエンドシステムを開発した。 我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
  論文  参考訳（メタデータ） (2021-09-28T04:43:11Z)
• DICT-MLM: Improved Multilingual Pre-Training using Bilingual Dictionaries [8.83363871195679]
  主要な言語学習目的としてのマスケプド・モデリング(MLM)の目的。 DICT-MLMは、オリジナルのマスキングされた単語だけでなく、言語間の同義語も予測できるようにモデルにインセンティブを与える。 30以上の言語にまたがる複数の下流タスクに関する実証分析により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-10-23T17:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。