Fugu-MT 論文翻訳(概要): InstrumentGen: Generating Sample-Based Musical Instruments From Text

論文の概要: InstrumentGen: Generating Sample-Based Musical Instruments From Text

arxiv url: http://arxiv.org/abs/2311.04339v1
Date: Tue, 7 Nov 2023 20:45:59 GMT
ステータス: 処理完了
システム内更新日: 2023-11-09 17:41:45.797967
Title: InstrumentGen: Generating Sample-Based Musical Instruments From Text
Title（参考訳）: InstrumentGen:テキストからサンプルベースの楽器を生成する
Authors: Shahan Nercessian, Johannes Imort
Abstract要約: 本稿では,テキストプロンプトに基づくサンプルベース楽器の生成を目的とした,テキスト・ツー・ストラクチャメント・タスクを提案する。本研究では,テキストプロジェクティブ・オーディオ・フレームワークを,楽器群,ソースタイプ,ピッチ(88キースペクトル全体),速度,共同テキスト/オーディオの埋め込みに拡張するモデルであるInstrumentGenを提案する。
参考スコア（独自算出の注目度）: 3.4447129363520337
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce the text-to-instrument task, which aims at generating sample-based musical instruments based on textual prompts. Accordingly, we propose InstrumentGen, a model that extends a text-prompted generative audio framework to condition on instrument family, source type, pitch (across an 88-key spectrum), velocity, and a joint text/audio embedding. Furthermore, we present a differentiable loss function to evaluate the intra-instrument timbral consistency of sample-based instruments. Our results establish a foundational text-to-instrument baseline, extending research in the domain of automatic sample-based instrument generation.
Abstract（参考訳）: 本稿では,テキストプロンプトに基づくサンプルベースの楽器生成を目的としたテキスト・ツー・インスツルメントタスクを提案する。そこで,本研究では,テキスト・プロジェクティブ・オーディオ・フレームワークを楽器群,ソースタイプ,ピッチ(88キースペクトル全体),速度,共同テキスト・オーディオ・埋め込みに拡張するモデルであるInstrumentGenを提案する。さらに, サンプルベース機器のインストルメント内音節の整合性を評価するために, 異なる損失関数を提案する。本研究は, サンプル自動生成の分野における研究を延長し, 基礎的なテキスト・インスツルメントベースラインを確立する。

関連論文リスト

Generating Sample-Based Musical Instruments Using Neural Audio Codec Language Models [2.3749120526936465]
サンプルベース楽器の自動生成のためのニューラルオーディオ言語モデルを提案する。提案手法は,88キーのスペクトル,速度,テキスト/オーディオの埋め込みを併用した音声合成フレームワークを拡張した。
論文参考訳（メタデータ） (2024-07-22T13:59:58Z)
Subtractive Training for Music Stem Insertion using Latent Diffusion Models [35.91945598575059]
本稿では,他の楽器を文脈として与えた個々の楽器茎を合成する方法であるSubtractive Trainingを提案する。以上の結果から,既存のトラックとシームレスにブレンドしたドラムステムを創り出すためのサブトラクティブトレーニングの有効性が示された。我々はこの技術をMIDIフォーマットに拡張し、不完全なアレンジメントのために、互換性のあるベース、ドラム、ギター部品をうまく生成する。
論文参考訳（メタデータ） (2024-06-27T16:59:14Z)
Performance Conditioning for Diffusion-Based Multi-Instrument Music Synthesis [15.670399197114012]
本稿では,特定の性能と記録環境に生成モデルを条件付け,多施設合成の制御を強化することを提案する。パフォーマンスコンディショニング(Performance Conditioning)とは、特定の演奏から採った特定の楽器のスタイルと音色で音楽を合成する生成モデルを示すツールである。試作機は,多種多様な楽器と最先端のFADリアリズムスコアを用いた未計算性能を用いて評価した。
論文参考訳（メタデータ） (2023-09-21T17:44:57Z)
Simple and Controllable Music Generation [94.61958781346176]
MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
論文参考訳（メタデータ） (2023-06-08T15:31:05Z)
Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
論文参考訳（メタデータ） (2023-02-08T07:27:27Z)
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio [11.941510958668557]
これを「楽器検索」と呼ぶ。本稿では,クエリーとして参照音楽の混合を用いて,所望の楽器を検索する手法を提案する。提案モデルは,畳み込みニューラルネットワークに基づくシングルインスツルメンツとマルチインスツルメンツで構成されている。
論文参考訳（メタデータ） (2022-11-15T07:32:39Z)
Towards Automatic Instrumentation by Learning to Separate Parts in Symbolic Multitrack Music [33.679951600368405]
演奏中のソロ音楽の音符に楽器を動的に割り当てる自動楽器の実現可能性について検討する。オンラインでリアルタイムに使用可能なパフォーマンスユースケースの設定に加えて、自動インスツルメンテーションはオフライン環境での補助的な構成ツールのアプリケーションも見つけることができる。我々は,パート分離の課題を逐次多クラス分類問題として捉え,音符のシーケンスをパートラベルのシーケンスにマッピングするために機械学習を採用する。
論文参考訳（メタデータ） (2021-07-13T08:34:44Z)
Sequence Generation using Deep Recurrent Networks and Embeddings: A study case in music [69.2737664640826]
本稿では,異なる種類の記憶機構(メモリセル)について評価し,音楽合成分野におけるその性能について検討する。提案したアーキテクチャの性能を自動評価するために,定量的な測定値のセットが提示される。
論文参考訳（メタデータ） (2020-12-02T14:19:19Z)
Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
論文参考訳（メタデータ） (2020-08-06T18:29:11Z)
Vector-Quantized Timbre Representation [53.828476137089325]
本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
論文参考訳（メタデータ） (2020-07-13T12:35:45Z)
RL-Duet: Online Music Accompaniment Generation Using Deep Reinforcement Learning [69.20460466735852]
本稿では,オンライン伴奏生成のための深層強化学習アルゴリズムを提案する。提案アルゴリズムは人体に応答し,メロディック,ハーモニック,多種多様な機械部品を生成する。
論文参考訳（メタデータ） (2020-02-08T03:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。