論文の概要: Text-to-Audio Generation using Instruction-Tuned LLM and Latent Diffusion Model

• arxiv url: http://arxiv.org/abs/2304.13731v1
• Date: Mon, 24 Apr 2023 07:45:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 15:39:27.650470
• Title: Text-to-Audio Generation using Instruction-Tuned LLM and Latent Diffusion Model
• Title（参考訳）: 命令調整llmと潜在拡散モデルを用いたテキスト音声生成
• Authors: Deepanway Ghosal, Navonil Majumder, Ambuj Mehrish, Soujanya Poria
• Abstract要約: 大型言語モデル(LLM)は、命令やチェーン・オブ・シンクベースの微調整など、多くの興味深い特性を実現する。 我々は、テキスト・トゥ・オーディオ(TTA)生成のためのテキストエンコーダとして、命令調整型LLM Flan-T5を採用する。 我々のアプローチであるTANGOは、ほとんどのメトリクスで最先端のAudioLDMより優れており、AudioCapsテストセットで他と同等です。
• 参考スコア（独自算出の注目度）: 23.058939018350603
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The immense scale of the recent large language models (LLM) allows many interesting properties, such as, instruction- and chain-of-thought-based fine-tuning, that has significantly improved zero- and few-shot performance in many natural language processing (NLP) tasks. Inspired by such successes, we adopt such an instruction-tuned LLM Flan-T5 as the text encoder for text-to-audio (TTA) generation -- a task where the goal is to generate an audio from its textual description. The prior works on TTA either pre-trained a joint text-audio encoder or used a non-instruction-tuned model, such as, T5. Consequently, our latent diffusion model (LDM)-based approach TANGO outperforms the state-of-the-art AudioLDM on most metrics and stays comparable on the rest on AudioCaps test set, despite training the LDM on a 63 times smaller dataset and keeping the text encoder frozen. This improvement might also be attributed to the adoption of audio pressure level-based sound mixing for training set augmentation, whereas the prior methods take a random mix.
• Abstract（参考訳）: 近年の大規模言語モデル(LLM)の大規模化により、命令やチェーン・オブ・シンクベースの微調整など、多くの自然言語処理(NLP)タスクにおいてゼロ・ショットのパフォーマンスが大幅に向上した多くの興味深い特性が実現されている。 このような成功に触発されて、テキスト・トゥ・オーディオ(TTA)生成のためのテキストエンコーダとして、このような命令付きLLM Flan-T5を採用しました。 TTAの以前の作業では、ジョイントテキストオーディオエンコーダを事前訓練するか、T5のような命令なしモデルを使用していた。 その結果、我々の潜在拡散モデル(LDM)ベースのアプローチであるTANGOは、ほとんどのメトリクスにおいて最先端のAudioLDMよりも優れており、63倍のデータセットでLDMをトレーニングし、テキストエンコーダを凍結し続けるにもかかわらず、AudioCapsテストセットでそれと同等である。 この改善は、トレーニングセットの強化にオーディオプレッシャーレベルベースのサウンドミキシングが採用されていることによるものでもあり得る。

関連論文リスト

• Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition [72.22243595269389]
  本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのフレームワークであるAudio-Agentを紹介する。 VTA(Video-to-audio)タスクでは、既存のほとんどの手法では、ビデオイベントと生成されたオーディオを同期させるタイムスタンプ検出器のトレーニングが必要である。
  論文  参考訳（メタデータ） (2024-10-04T11:40:53Z)
• Chain-of-Thought Prompting for Speech Translation [33.77037760225061]
  大規模言語モデル(LLM)は言語理解と生成において顕著な進歩を見せている。 近年の研究では、これらのモデルを音声埋め込みに応用し、高い性能を示す音声-LLMモデルを実現している。 本稿では,エンコーダ-デコーダテキスト LLM 上に構築された音声-LLM において,AST のプロンプトとして ASR 転写を利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-17T20:16:43Z)
• Advancing Multi-talker ASR Performance with Large Language Models [48.52252970956368]
  対話シナリオにおける複数話者からの重複音声認識は、音声認識(ASR)において最も難しい問題の一つである。 本稿では,事前学習した音声エンコーダとLLMを利用したマルチストーカーASRのためのSOTアプローチを提案する。 提案手法は,シミュレーションデータセットLibriMixにおける従来のAEDに基づく手法を超越し,実世界のデータセットAMIの評価セット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-08-30T17:29:25Z)
• C3LLM: Conditional Multimodal Content Generation Using Large Language Models [66.11184017840688]
  C3LLMは,ビデオ・トゥ・オーディオ,音声・テキスト,テキスト・トゥ・オーディオの3つのタスクを組み合わせた新しいフレームワークである。 C3LLMはLarge Language Model (LLM) 構造を異なるモダリティを整列するためのブリッジとして適合させる。 本手法は,従来の音声理解,ビデオ音声生成,テキスト音声生成のタスクを1つの統一モデルに統合する。
  論文  参考訳（メタデータ） (2024-05-25T09:10:12Z)
• Enhancing the Stability of LLM-based Speech Generation Systems through Self-Supervised Representations [14.437646262239612]
  自己教師型音声変換(VC)アーキテクチャは、話者IDや記録条件などの定常的な特徴とは独立して、コンテンツなどのトランジッショナルな特徴を符号化し、話者不整合表現を作成するために使用することができる。 テキスト・トゥ・スポーチ(TTS)のためのLLMの訓練に話者区別符号を使用すると、LLMは人間と同様にテキストからのみ音声の内容とスタイルを生成することができ、一方、話者識別はVCモデルのデコーダによって提供される。 結果から,LLMの自己教師表現による訓練が4.7ppの改善をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-05T15:08:19Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• On decoder-only architecture for speech-to-text and large language model integration [59.49886892602309]
  Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。 我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-07-08T06:47:58Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• AudioLDM: Text-to-Audio Generation with Latent Diffusion Models [35.703877904270726]
  テキスト音声合成システムTTA(Text-to-audio)が最近注目されている。 本研究では,音声空間上に構築されたTTAシステムであるAudioLDMを提案する。 単一のGPUでAudioCapsでトレーニングされたAudioLDMは、客観的メトリクスと主観的メトリクスの両方で測定された最先端のTTAパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-01-29T17:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。