論文の概要: COSMIC: Data Efficient Instruction-tuning For Speech In-Context Learning

• arxiv url: http://arxiv.org/abs/2311.02248v2
• Date: Fri, 14 Jun 2024 17:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:43:29.835826
• Title: COSMIC: Data Efficient Instruction-tuning For Speech In-Context Learning
• Title（参考訳）: COSMIC:音声インテクスト学習のためのデータ効率の良いインストラクションチューニング
• Authors: Jing Pan, Jian Wu, Yashesh Gaur, Sunit Sivasankaran, Zhuo Chen, Shujie Liu, Jinyu Li,
• Abstract要約: 大規模言語モデル(LLM)に音声を統合するコスト効率のよい手法を提案する。 教師あり指導のための音声書き起こしから音声テスト質問応答(SQA)ペアを生成する。 3000万以上のトレーニング可能なパラメータで、COSMICは命令追従およびコンテキスト内学習の新たな能力を示す。
• 参考スコア（独自算出の注目度）: 45.282468928830056
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a cost-effective method to integrate speech into a large language model (LLM), resulting in a Contextual Speech Model with Instruction-following/in-context-learning Capabilities (COSMIC) multi-modal LLM. Using GPT-3.5, we generate Speech Comprehension Test Question-Answer (SQA) pairs from speech transcriptions for supervised instruction tuning. With under 30 million trainable parameters and only 450 hours of English speech data, COSMIC demonstrates emerging capabilities in instruction-following and in-context learning. Equipped with such capabilities, COSMIC achieves a maximum 33.18 BLEU score in 0-shot EN-to-X speech to text translation (S2TT) and a significant boost in the 1-shot setting. Additionally, there is an average 25.8\% relative Word Error Rate (WER) reduction for 1-shot cross-domain adaptation. COSMIC exhibits a significant automatic speech recognition (ASR) accuracy gain in contextual biasing tasks due to its instruction-following capability.
• Abstract（参考訳）: 本研究では,大規模言語モデル (LLM) に音声を組み込むコスト効率のよい手法を提案する。 GPT-3.5を用いて、教師あり指導のための音声書き起こしから音声理解テスト質問応答(SQA)ペアを生成する。 トレーニング可能なパラメータが3000万未満で、英語の音声データは450時間しか持たないため、COSMICは命令追従とテキスト内学習の新たな能力を示す。 このような機能を備えたCOSMICは、最大33.18BLEUスコアを0ショットEN-to-X音声からテキスト翻訳(S2TT)で達成し、1ショット設定で大幅に向上する。 さらに、1ショットのクロスドメイン適応に対して、平均25.8\%の単語誤り率(WER)が減少する。 COSMICは、その命令追従能力により、文脈バイアスタスクにおいて、重要な自動音声認識(ASR)精度向上を示す。

関連論文リスト

• Self-Powered LLM Modality Expansion for Large Speech-Text Models [62.27700381806554]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示す。 本研究は,バニラ調律の限界に対処して,LSM訓練における音声データセットの利用を改良することを目的とする。 そこで本研究では,モデル自体が生成する拡張音声認識データを利用して,より効果的な命令チューニングを行う自己力 LSM を提案する。
  論文  参考訳（メタデータ） (2024-10-04T04:34:24Z)
• Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• End-to-End Speech Recognition Contextualization with Large Language Models [25.198480789044346]
  本稿では,Large Language Models (LLM) を取り入れた音声認識モデルの文脈化手法を提案する。 音声機能とコンテクスト用のオプションテキストトークンを提供し、デコーダのみの方法でシステムに書き起こしを訓練する。 実験の結果,追加のテキストコンテキストが提供されると,WERが6%削減され,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-09-19T20:28:57Z)
• KIT's Multilingual Speech Translation System for IWSLT 2023 [58.5152569458259]
  IWSLT 2023の多言語トラックに対する音声翻訳システムについて述べる。 このタスクは、様々な量のリソースを持つ10の言語に翻訳する必要がある。 我々のケースド音声システムは、科学的な話の翻訳において、エンドツーエンドの音声よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-06-08T16:13:20Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech [33.71744518887916]
  FLEURS(Few-shot Learning Evaluation of Universal Representations of Speech benchmark)を紹介する。 FLEURSは、機械翻訳FLoRes-101ベンチマーク上に構築された102言語におけるn-way並列音声データセットである。
  論文  参考訳（メタデータ） (2022-05-25T02:29:03Z)
• SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training [33.02912456062474]
  我々は、ラベルなしテキストのBERT目的とラベルなし音声のw2v-BERT目的とを併用した単一のエンコーダを構築する。 プレトレーニング中に音声データとテキストデータの両方を組み込むことで、CoVoST2音声翻訳における下流品質が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2021-10-20T00:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。