論文の概要: InspireMusic: Integrating Super Resolution and Large Language Model for High-Fidelity Long-Form Music Generation

• arxiv url: http://arxiv.org/abs/2503.00084v1
• Date: Fri, 28 Feb 2025 09:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:23:20.565408
• Title: InspireMusic: Integrating Super Resolution and Large Language Model for High-Fidelity Long-Form Music Generation
• Title（参考訳）: InspireMusic:高忠実長周期音楽生成のための高分解能と大言語モデルの統合
• Authors: Chong Zhang, Yukun Ma, Qian Chen, Wen Wang, Shengkui Zhao, Zexu Pan, Hao Wang, Chongjia Ni, Trung Hieu Nguyen, Kun Zhou, Yidi Jiang, Chaohong Tan, Zhifu Gao, Zhihao Du, Bin Ma,
• Abstract要約: InspireMusicは,高忠実度長大な音楽生成のためのフレームワーク統合スーパーレゾリューションと大規模言語モデルである。 統合されたフレームワークは、超解像フローマッチングモデルを備えた自己回帰変換器を組み込んだ高忠実な音楽、歌、オーディオを生成する。 我々のモデルは、よりリッチなセマンティック情報を含む1つのコードブックを持つオーディオトークンーを使用するため、従来のアプローチと異なる。
• 参考スコア（独自算出の注目度）: 43.690876909464336
• License:
• Abstract: We introduce InspireMusic, a framework integrated super resolution and large language model for high-fidelity long-form music generation. A unified framework generates high-fidelity music, songs, and audio, which incorporates an autoregressive transformer with a super-resolution flow-matching model. This framework enables the controllable generation of high-fidelity long-form music at a higher sampling rate from both text and audio prompts. Our model differs from previous approaches, as we utilize an audio tokenizer with one codebook that contains richer semantic information, thereby reducing training costs and enhancing efficiency. This combination enables us to achieve high-quality audio generation with long-form coherence of up to $8$ minutes. Then, an autoregressive transformer model based on Qwen 2.5 predicts audio tokens. Next, we employ a super-resolution flow-matching model to generate high-sampling rate audio with fine-grained details learned from an acoustic codec model. Comprehensive experiments show that the InspireMusic-1.5B-Long model has a comparable performance to recent top-tier open-source systems, including MusicGen and Stable Audio 2.0, on subjective and objective evaluations. The code and pre-trained models are released at https://github.com/FunAudioLLM/InspireMusic.
• Abstract（参考訳）: InspireMusicは,高忠実度長大な音楽生成のためのフレームワーク統合スーパーレゾリューションと大規模言語モデルである。 統合されたフレームワークは、超解像フローマッチングモデルを備えた自己回帰変換器を組み込んだ高忠実な音楽、歌、オーディオを生成する。 このフレームワークは、テキストとオーディオのプロンプトから高いサンプリングレートで、高忠実度長大な音楽の制御可能な生成を可能にする。 我々のモデルは、よりリッチなセマンティック情報を含む1つのコードブックを持つオーディオトークン化装置を使用して、トレーニングコストを削減し、効率を向上させるため、従来の手法と異なる。 この組み合わせにより、最大8ドル分の長大なコヒーレンスで高品質なオーディオ生成を実現することができる。 そして、Qwen 2.5に基づく自己回帰変換器モデルにより、音声トークンを予測する。 次に,超解像流マッチングモデルを用いて,音響コーデックモデルから学習した微細な細部を持つ高サンプリングレートオーディオを生成する。 総合的な実験によると、InspireMusic-1.5B-Longモデルは、主観的および客観的評価において、MusicGenやStable Audio 2.0を含む最近のトップレベルのオープンソースシステムに匹敵する性能を持つ。 コードと事前訓練されたモデルはhttps://github.com/FunAudioLLM/InspireMusicで公開されている。

関連論文リスト

• Diff-A-Riff: Musical Accompaniment Co-creation via Latent Diffusion Models [0.0]
  ディフ・A・リフ(Diff-A-Riff)は、あらゆる音楽的文脈に適応する高品質な楽器を生成するために設計された潜在拡散モデルである。 48kHzの擬似ステレオオーディオを生成し、推論時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-06-12T16:34:26Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization [70.13218512896032]
  テキストプロンプトから音声を生成することは、音楽や映画産業におけるそのようなプロセスの重要な側面である。 我々の仮説は、これらのオーディオ生成の側面が、限られたデータの存在下でのオーディオ生成性能をどのように改善するかに焦点を当てている。 我々は、各プロンプトが勝者の音声出力と、拡散モデルが学習するための敗者音声出力を持つ選好データセットを合成的に作成する。
  論文  参考訳（メタデータ） (2024-04-15T17:31:22Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)
• Deep Performer: Score-to-Audio Music Performance Synthesis [30.95307878579825]
  Deep Performer(ディープ・パーフォーマー)は、音楽の楽譜合成のための新しいシステムである。 音声とは異なり、音楽はポリフォニーや長い音符を含むことが多い。 提案モデルでは, 鮮明なポリフォニーとハーモニック構造で楽曲を合成できることが示されている。
  論文  参考訳（メタデータ） (2022-02-12T10:36:52Z)
• RAVE: A variational autoencoder for fast and high-quality neural audio synthesis [2.28438857884398]
  本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。 我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-09T09:07:30Z)
• MP3net: coherent, minute-long music generation from raw audio with a simple convolutional GAN [0.0]
  我々は、長距離コヒーレンスで高品質のオーディオサンプルを生成する深い畳み込みGANを紹介します。 人間の耳の聴覚マスキングと心理音響知覚の限界を利用して、真の分布を広げる。 私たちは、単一のクラウドTPUv2で250hのトレーニング後に22kHzのサンプルレートで95sのステレオトラックを作成するためにMP3netを使用します。
  論文  参考訳（メタデータ） (2021-01-12T22:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。