論文の概要: Probing Audio-Generation Capabilities of Text-Based Language Models

• arxiv url: http://arxiv.org/abs/2506.00003v1
• Date: Sun, 04 May 2025 23:46:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-08 12:40:08.594674
• Title: Probing Audio-Generation Capabilities of Text-Based Language Models
• Title（参考訳）: テキストベース言語モデルの音声生成機能の提案
• Authors: Arjun Prasaath Anbazhagan, Parteek Kumar, Ujjwal Kaur, Aslihan Akalin, Kevin Zhu, Sean O'Brien,
• Abstract要約: 本研究では,大規模言語モデルが音声を生成できる範囲について検討する。 我々は、音声生成の複雑さを徐々に増大させる3層アプローチを採用する。 以上の結果から,LLMは基本的音声特徴を生成できるが,音声の複雑さが増すにつれて性能が低下することが明らかとなった。
• 参考スコア（独自算出の注目度）: 5.4211188445379825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How does textual representation of audio relate to the Large Language Model's (LLMs) learning about the audio world? This research investigates the extent to which LLMs can be prompted to generate audio, despite their primary training in textual data. We employ a three-tier approach, progressively increasing the complexity of audio generation: 1) Musical Notes, 2) Environmental Sounds, and 3) Human Speech. To bridge the gap between text and audio, we leverage code as an intermediary, prompting LLMs to generate code that, when executed, produces the desired audio output. To evaluate the quality and accuracy of the generated audio, we employ FAD and CLAP scores. Our findings reveal that while LLMs can generate basic audio features, their performance deteriorates as the complexity of the audio increases. This suggests that while LLMs possess a latent understanding of the auditory world, their ability to translate this understanding into tangible audio output remains rudimentary. Further research into techniques that can enhance the quality and diversity of LLM-generated audio can lead to an improvement in the performance of text-based LLMs in generating audio.
• Abstract（参考訳）: 音声のテキスト表現は,Large Language Model(LLM)が学習する音声世界とどのように関連しているのか? 本研究は,テキストデータにおける初等訓練に拘わらず,LLMが音声を生成できる範囲について検討する。 私たちは、音声生成の複雑さを徐々に増大させる3段階のアプローチを採用しています。 1)楽譜 2【環境音・環境音】 3)人間のスピーチ。 テキストと音声のギャップを埋めるために、中間体としてコードを活用し、実行時に所望のオーディオ出力を生成するLCMを生成する。 生成された音声の品質と精度を評価するために、FADとCLAPスコアを用いる。 以上の結果から,LLMは基本的音声特徴を生成できるが,音声の複雑さが増すにつれて性能が低下することが明らかとなった。 このことから,LLMには聴覚の理解が潜んでいるものの,この理解を有形音声に翻訳する能力は未熟であることが示唆された。 LLM生成音声の品質と多様性を向上させる技術の研究は、音声生成におけるテキストベースのLLMの性能向上につながる可能性がある。

関連論文リスト

• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  LISTENは、現在と欠落した音を識別するallMsの能力を改善するために設計された、コントラスト的な訓練手法である。 また、BALSaをマルチオーディオシナリオに拡張し、モデルが音声入力の違いを説明するか、統一的なキャプションを生成する。 実験結果から,本手法は音声理解,推論,指示追従のスキルを確実に保ちながら,音声の幻覚を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• Make Some Noise: Towards LLM audio reasoning and generation using sound tokens [19.48089933713418]
  本稿では,変分量子化とフローマッチングを組み合わせることで,音声を0.23kpbの超低離散トークンに変換する手法を提案する。 我々のトークン化器は、様々な音響イベントを持つ様々なデータセットで従来のVQ-VAEより優れています。
  論文  参考訳（メタデータ） (2025-03-28T09:43:47Z)
• LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT [65.69648099999439]
  Generative Pre-trained Transformer (GPT) モデルは、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。 音声認識, 理解, 生成のための新しい音声・テキストGPTベースのLLMであるLauraGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T03:17:59Z)
• VoiceLDM: Text-to-Speech with Environmental Context [22.29992463094861]
  VoiceLDMは、2つの異なる自然言語のプロンプトを正確に追従するオーディオを生成するために設計されたモデルである。 事前訓練されたコントラスト言語事前訓練(CLAP)とWhisperを利用することで、VoiceLDMは手動の注釈や書き起こしなしに大量の現実世界のオーディオで訓練される。 我々は,VoiceLDMが両入力条件に整合した可塑性音声を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-09-24T15:20:59Z)
• AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head [82.69233563811487]
  大規模言語モデル(LLM)は、さまざまな領域やタスクにまたがって顕著な能力を示し、学習と認知の理解に挑戦しています。 本稿では,LLMを基本モデルで補完し,複雑な音声情報を処理するマルチモーダルAIシステムであるAudioGPTを提案する。
  論文  参考訳（メタデータ） (2023-04-25T17:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。