論文の概要: SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation

• arxiv url: http://arxiv.org/abs/2502.13128v1
• Date: Tue, 18 Feb 2025 18:52:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:05.537868
• Title: SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation
• Title（参考訳）: SongGen: テキスト・ツー・ソン・ジェネレーションのためのシングルステージ自動回帰変換器
• Authors: Zihan Liu, Shuangrui Ding, Zhixiong Zhang, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Dahua Lin, Jiaqi Wang,
• Abstract要約: SongGenは、コントロール可能な曲を生成するための、完全なオープンソースでシングルステージの自動回帰トランスフォーマーである。 音声と伴奏の混合を生成する混合モードと、それらを別々に合成するデュアルトラックモードの2つの出力モードをサポートする。 コミュニティの関与と今後の研究を促進するため、私たちは、モデルの重み付け、トレーニングコード、注釈付きデータ、前処理パイプラインをリリースします。
• 参考スコア（独自算出の注目度）: 75.86473375730392
• License:
• Abstract: Text-to-song generation, the task of creating vocals and accompaniment from textual inputs, poses significant challenges due to domain complexity and data scarcity. Existing approaches often employ multi-stage generation procedures, resulting in cumbersome training and inference pipelines. In this paper, we propose SongGen, a fully open-source, single-stage auto-regressive transformer designed for controllable song generation. The proposed model facilitates fine-grained control over diverse musical attributes, including lyrics and textual descriptions of instrumentation, genre, mood, and timbre, while also offering an optional three-second reference clip for voice cloning. Within a unified auto-regressive framework, SongGen supports two output modes: mixed mode, which generates a mixture of vocals and accompaniment directly, and dual-track mode, which synthesizes them separately for greater flexibility in downstream applications. We explore diverse token pattern strategies for each mode, leading to notable improvements and valuable insights. Furthermore, we design an automated data preprocessing pipeline with effective quality control. To foster community engagement and future research, we will release our model weights, training code, annotated data, and preprocessing pipeline. The generated samples are showcased on our project page at https://liuzh-19.github.io/SongGen/ , and the code will be available at https://github.com/LiuZH-19/SongGen .
• Abstract（参考訳）: テキスト合成は、テキスト入力からボーカルと伴奏を作成するタスクであり、ドメインの複雑さとデータ不足のために大きな課題を提起する。 既存のアプローチでは、しばしば多段階生成手順を採用しており、結果としてトレーニングや推論パイプラインが煩雑になる。 本稿では,完全オープンソースでシングルステージの自動回帰変換器であるSongGenを提案する。 提案モデルは,楽器の歌詞やテキストによる記述,ジャンル,気分,音色など,さまざまな音楽的属性のきめ細かい制御を容易にするとともに,音声クローンのための3秒間の参照クリップもオプションとして提供する。 統合された自動回帰フレームワークの中で、SongGenは2つの出力モードをサポートしている。 さまざまなトークンパターン戦略を各モードで検討し、注目すべき改善と価値ある洞察につながります。 さらに、効率的な品質制御が可能な自動データ前処理パイプラインを設計する。 コミュニティの関与と今後の研究を促進するため、私たちは、モデルの重み付け、トレーニングコード、注釈付きデータ、前処理パイプラインをリリースします。 生成されたサンプルはプロジェクトのページ https://liuzh-19.github.io/SongGen/ で公開されており、コードは https://github.com/LiuZH-19/SongGen で入手できる。

関連論文リスト

• SongCreator: Lyrics-based Universal Song Generation [53.248473603201916]
  SongCreatorは、声楽と伴奏の両方で曲を生成するという課題に取り組むために設計された曲生成システムである。 モデルには2つの新しいデザインがある: ボーカルの情報と伴奏を収録するための巧妙に設計された二重系列言語モデル (M) と、DSLMのための一連の注意マスク戦略である。 実験では,8つのタスクすべてに対して,最先端ないし競争的なパフォーマンスを実現することにより,SongCreatorの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-09T19:37:07Z)
• MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation [19.878013881045817]
  MusiConGenは、一時条件付きトランスフォーマーベースのテキスト-音楽モデルである。 条件信号として自動的に抽出されたリズムとコードを統合する。 MusiConGenは,特定の条件に整合したリアルなバックトラック音楽を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-21T05:27:53Z)
• RapVerse: Coherent Vocals and Whole-Body Motions Generations from Text [45.11868756870458]
  歌詞入力から直接3次元体の動きと歌声を同時に生成する難易度タスクを提案する。 まずRapVerseデータセット(同期ラッピングボーカル、歌詞、高品質な3Dボディーメッシュを含む大規模なデータセット)を収集する。 これら3つのモダリティを統一した方法で変換器モデリングを共同で行うことにより、我々のフレームワークは、シームレスで現実的な声と人間の動きのブレンドを保証する。
  論文  参考訳（メタデータ） (2024-05-30T17:59:39Z)
• Bass Accompaniment Generation via Latent Diffusion [0.0]
  任意の長さのミキシングに付随する単一茎を生成する制御可能なシステムを提案する。 本手法のコアとなるのは、音声波形サンプルを効率よく非可逆な潜在表現に圧縮するオーディオオートエンコーダである。 制御可能な条件付きオーディオ生成フレームワークは、音楽制作においてミュージシャンを支援するための生成AIツールを作成する上で、大きな前進となる。
  論文  参考訳（メタデータ） (2024-02-02T13:44:47Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)
• Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
  任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。 提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
  論文  参考訳（メタデータ） (2020-08-06T18:29:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。