論文の概要: Enhancing Low-Resource Language and Instruction Following Capabilities of Audio Language Models

• arxiv url: http://arxiv.org/abs/2409.10999v1
• Date: Tue, 17 Sep 2024 09:04:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 17:18:54.081259
• Title: Enhancing Low-Resource Language and Instruction Following Capabilities of Audio Language Models
• Title（参考訳）: 音声言語モデルの性能向上と学習指導
• Authors: Potsawee Manakul, Guangzhi Sun, Warit Sirichotedumrong, Kasima Tharnpipitchai, Kunat Pipatanakul,
• Abstract要約: 本稿では,タイ語を用いた未保存言語における既存の音声言語モデルの性能について検討する。 多言語バックボーン上に構築されているにもかかわらず、音声言語モデルは言語間の創発能力を示すものではない。 本稿では,音声理解と音声指示追従機能を単一統一モデルに統合する。
• 参考スコア（独自算出の注目度）: 13.855545744177586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio language models can understand audio inputs and perform a range of audio-related tasks based on instructions, such as speech recognition and audio captioning, where the instructions are usually textual prompts. Audio language models are mostly initialized from pre-trained audio encoders and large language models (LLMs). Although these pre-trained components were developed to support multiple languages, audio-language models are trained predominantly on English data, which may limit their usability to only English instructions or English speech inputs. First, this paper examines the performance of existing audio language models in an underserved language using Thai as an example. This paper demonstrates that, despite being built on multilingual backbones, audio language models do not exhibit cross-lingual emergent abilities to low-resource languages. Second, this paper studies data mixture for developing audio language models that are optimized for a target language as well as English. In addition. this paper integrates audio comprehension and speech instruction-following capabilities into a single unified model. Our experiments provide insights into data mixture for enhancing instruction-following capabilities in both a low-resource language and English. Our model, Typhoon-Audio, outperforms existing open-source audio language models by a considerable margin, and it is comparable to state-of-the-art Gemini-1.5-Pro in both English and Thai languages.
• Abstract（参考訳）: 音声言語モデルは、音声入力を理解し、音声認識や音声キャプションといった命令に基づいて様々なオーディオ関連タスクを実行することができる。 オーディオ言語モデルは、主に事前訓練されたオーディオエンコーダと大きな言語モデル(LLM)から初期化されている。 これらの事前訓練されたコンポーネントは、複数の言語をサポートするために開発されたが、オーディオ言語モデルは、主に英語のデータに基づいて訓練されており、英語の命令や英語の音声入力に限る可能性がある。 まず,タイ語を例として,未保存言語における既存の音声言語モデルの性能について検討する。 本稿では,多言語バックボーン上に構築されているにもかかわらず,低リソース言語に対して,音声言語モデルが言語間創発能力を示すことはないことを示す。 第2に、ターゲット言語と英語に最適化された音声言語モデルを開発するためのデータ混合について検討する。 さらに。 本稿では,音声理解と音声指示追従機能を単一の統一モデルに統合する。 本実験は,低リソース言語と英語の双方において,命令追従能力を向上させるためのデータ混合に関する知見を提供する。 我々のモデルであるTyphoon-Audioは、既存のオープンソースオーディオ言語モデルよりもかなり優れており、英語とタイ語の両方で最先端のGemini-1.5-Proに匹敵する。

関連論文リスト

• Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings [8.660203441911554]
  本稿では,音声データを利用した言語モデルの学習手法を提案する。 これにより、テスト時のオーディオ処理オーバーヘッドを回避しつつ、音声書き起こしを解析するための言語モデルが改善される。 本実験では, 従来の言語モデルに対して, 音声書き起こし解析のタスクにおいて一貫した改善が達成された。
  論文  参考訳（メタデータ） (2023-11-13T01:53:12Z)
• Lip Reading for Low-resource Languages by Learning and Combining General Speech Knowledge and Language-specific Knowledge [57.38948190611797]
  本稿では,特に低リソース言語を対象とした新しい唇読解フレームワークを提案する。 低リソース言語は、そのモデルを訓練するのに十分なビデオテキストペアデータを持っていないため、低リソース言語のための唇読解モデルを開発するのは難しいと考えられている。
  論文  参考訳（メタデータ） (2023-08-18T05:19:03Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Hindi as a Second Language: Improving Visually Grounded Speech with Semantically Similar Samples [89.16814518860357]
  本研究の目的は,多言語の観点からの視覚的基盤音声モデル(VGS)の学習を検討することである。 この研究における重要な貢献は、低リソース言語の性能を向上させるために、バイリンガルな視覚的基盤を持つ音声モデルにおける高リソース言語のパワーを活用することである。
  論文  参考訳（メタデータ） (2023-03-30T16:34:10Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining [2.3513645401551333]
  既存の多言語wav2vec 2.0モデルを新しい言語に適用する可能性を検討する。 この結果から, 継続事前学習がwav2vec 2.0モデルを新しい言語に適応させる最も効果的な方法であることが示唆された。 関連言語の種類や類似した音韻特性を持つ非関連言語で事前訓練されたモデルが利用可能である場合,その言語からの付加データを用いた多言語微調整は,音声認識性能に肯定的な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-01-18T03:57:53Z)
• Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification [73.5497360800395]
  複数の言語をサポートするエンドツーエンドシステムを開発した。 我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
  論文  参考訳（メタデータ） (2021-09-28T04:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。