論文の概要: Generating Sample-Based Musical Instruments Using Neural Audio Codec Language Models

• arxiv url: http://arxiv.org/abs/2407.15641v1
• Date: Mon, 22 Jul 2024 13:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 14:51:29.715405
• Title: Generating Sample-Based Musical Instruments Using Neural Audio Codec Language Models
• Title（参考訳）: ニューラルオーディオコーデック言語モデルを用いたサンプルベース楽器の生成
• Authors: Shahan Nercessian, Johannes Imort, Ninon Devis, Frederik Blang,
• Abstract要約: サンプルベース楽器の自動生成のためのニューラルオーディオ言語モデルを提案する。 提案手法は,88キーのスペクトル,速度,テキスト/オーディオの埋め込みを併用した音声合成フレームワークを拡張した。
• 参考スコア（独自算出の注目度）: 2.3749120526936465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose and investigate the use of neural audio codec language models for the automatic generation of sample-based musical instruments based on text or reference audio prompts. Our approach extends a generative audio framework to condition on pitch across an 88-key spectrum, velocity, and a combined text/audio embedding. We identify maintaining timbral consistency within the generated instruments as a major challenge. To tackle this issue, we introduce three distinct conditioning schemes. We analyze our methods through objective metrics and human listening tests, demonstrating that our approach can produce compelling musical instruments. Specifically, we introduce a new objective metric to evaluate the timbral consistency of the generated instruments and adapt the average Contrastive Language-Audio Pretraining (CLAP) score for the text-to-instrument case, noting that its naive application is unsuitable for assessing this task. Our findings reveal a complex interplay between timbral consistency, the quality of generated samples, and their correspondence to the input prompt.
• Abstract（参考訳）: 本稿では,テキストやレファレンスに基づくサンプルベース楽器の自動生成のためのニューラルオーディオコーデック言語モデルを提案する。 提案手法は,88キーのスペクトル,速度,テキスト/オーディオの埋め込みを併用した音声合成フレームワークを拡張した。 生成した楽器の音節の整合性を維持することが大きな課題である。 この問題に対処するために,3つの異なる条件付きスキームを導入する。 我々は客観的な測定値と人間の聴取テストを通して手法を解析し、我々のアプローチが魅力的な楽器を生産できることを実証した。 具体的には、生成した機器の音節整合性を評価し、テキスト・ツー・ストラクチャメント・ケースに対して平均的コントラスト言語・オーディオ事前学習(CLAP)スコアを適用するための新たな客観的指標を導入する。 以上の結果から, 音節の整合性, 生成サンプルの品質, 入力プロンプトへの対応の複雑な相互作用が明らかとなった。

関連論文リスト

• Stem-JEPA: A Joint-Embedding Predictive Architecture for Musical Stem Compatibility Estimation [3.8570045844185237]
  マルチトラックデータセットでトレーニングした新しいJEPA(Joint-Embedding Predictive Architecture)であるStem-JEPAを紹介する。 本モデルでは, エンコーダと予測器の2つのネットワークから構成される。 MUSDB18データセットの検索タスクにおいて、本モデルの性能を評価し、ミキシングから欠落した茎を見つける能力を検証した。
  論文  参考訳（メタデータ） (2024-08-05T14:34:40Z)
• InstrumentGen: Generating Sample-Based Musical Instruments From Text [3.4447129363520337]
  本稿では,テキストプロンプトに基づくサンプルベース楽器の生成を目的とした,テキスト・ツー・ストラクチャメント・タスクを提案する。 本研究では,テキストプロジェクティブ・オーディオ・フレームワークを,楽器群,ソースタイプ,ピッチ(88キースペクトル全体),速度,共同テキスト/オーディオの埋め込みに拡張するモデルであるInstrumentGenを提案する。
  論文  参考訳（メタデータ） (2023-11-07T20:45:59Z)
• Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training [82.94349771571642]
  本研究では, メロディ非教師型マルチスピーカ事前学習法を提案し, シングルスピーカの発声域を拡大する。 合成音声のリズム自然性を改善するために、識別可能な持続時間調整器を導入するのは、これが初めてである。 実験により,提案したSVSシステムは,音質と自然性の両方において,ベースラインよりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-09-01T06:40:41Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• Anomalous Sound Detection using Audio Representation with Machine ID based Contrastive Learning Pretraining [52.191658157204856]
  コントラスト学習を用いて、各音声サンプルではなく、各機械IDの音声表現を洗練する。 提案手法では、コントラスト学習を用いて音声表現モデルを事前学習する。 実験の結果,本手法はコントラスト学習や自己教師型分類を用いて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-07T11:08:31Z)
• An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms [2.3204178451683264]
  音声処理アプリケーションでは、ハイレベルな表現に基づく表現力のある音声の生成は、高い需要を示す。 ニューラルネットワークのような現代のアルゴリズムは、楽器の圧縮に基づく表現型シンセサイザーの開発にインスピレーションを与えている。 本研究では,多種多様な楽器に対する時間周波数音声表現の圧縮のための畳み込み畳み込みオートエンコーダについて検討した。
  論文  参考訳（メタデータ） (2023-01-18T17:19:04Z)
• Leveraging Symmetrical Convolutional Transformer Networks for Speech to Singing Voice Style Transfer [49.01417720472321]
  我々は、入力音声とターゲットメロディのアライメントをモデル化する、SymNetと呼ばれる新しいニューラルネットワークアーキテクチャを開発する。 音声と歌声の並列データからなるNASデータセットとNHSSデータセットで実験を行う。
  論文  参考訳（メタデータ） (2022-08-26T02:54:57Z)
• Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
  任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。 提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
  論文  参考訳（メタデータ） (2020-08-06T18:29:11Z)
• Time-Frequency Scattering Accurately Models Auditory Similarities Between Instrumental Playing Techniques [5.923588533979649]
  音色知覚は楽器や演奏技術だけで提供されるものよりも柔軟な分類法で機能することを示す。 本稿では,楽器,ミュート,技法間の類似性のクラスタグラフを復元するマシンリスニングモデルを提案する。
  論文  参考訳（メタデータ） (2020-07-21T16:37:15Z)
• RL-Duet: Online Music Accompaniment Generation Using Deep Reinforcement Learning [69.20460466735852]
  本稿では,オンライン伴奏生成のための深層強化学習アルゴリズムを提案する。 提案アルゴリズムは人体に応答し,メロディック,ハーモニック,多種多様な機械部品を生成する。
  論文  参考訳（メタデータ） (2020-02-08T03:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。