論文の概要: Audio-to-symbolic Arrangement via Cross-modal Music Representation
Learning
- arxiv url: http://arxiv.org/abs/2112.15110v1
- Date: Thu, 30 Dec 2021 16:05:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-03 15:42:57.311019
- Title: Audio-to-symbolic Arrangement via Cross-modal Music Representation
Learning
- Title（参考訳）: クロスモーダル音楽表現学習による音声から記号へのアレンジ
- Authors: Ziyu Wang, Dejing Xu, Gus Xia, Ying Shan
- Abstract要約: 優れたアレンジモデルは、オーディオコンテンツだけでなく、ピアノ構成に関する事前知識も考慮すべきである。
音声から和音と旋律情報を抽出するクロスモーダル表現学習モデルを提案する。
実験により,本モデルが主要な音声情報をキャプチャし,生成品質においてベースラインを上回ることを示す。
- 参考スコア（独自算出の注目度）: 11.247238840604282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Could we automatically derive the score of a piano accompaniment based on the
audio of a pop song? This is the audio-to-symbolic arrangement problem we
tackle in this paper. A good arrangement model should not only consider the
audio content but also have prior knowledge of piano composition (so that the
generation "sounds like" the audio and meanwhile maintains musicality.) To this
end, we contribute a cross-modal representation-learning model, which 1)
extracts chord and melodic information from the audio, and 2) learns texture
representation from both audio and a corrupted ground truth arrangement. We
further introduce a tailored training strategy that gradually shifts the source
of texture information from corrupted score to audio. In the end, the
score-based texture posterior is reduced to a standard normal distribution, and
only audio is needed for inference. Experiments show that our model captures
major audio information and outperforms baselines in generation quality.
- Abstract（参考訳）: ポップソングの音声に基づいてピアノ伴奏の楽譜を自動的に導き出せるか?
本論文では,音声とシンボリックなアレンジメントの問題について述べる。
優れたアレンジモデルは、オーディオの内容だけでなく、ピアノの作曲に関する事前知識(音質を「音」にし、音楽性を維持する)も考慮すべきである(この目的のために、我々は、モーダルな表現学習モデルに貢献する。
1)音声からコード及びメロディ情報を抽出し、
2) テクスチャ表現は音声と劣化した地上真実の配置の両方から学習する。
さらに,テクスチャ情報の発信源を劣化したスコアから音声に徐々にシフトさせる,カスタマイズされたトレーニング戦略も導入する。
最終的に、スコアベースのテクスチャ後部は標準正規分布に縮小され、推論には音声のみが必要となる。
実験により,本モデルが主要な音声情報をキャプチャし,生成品質においてベースラインを上回ることを示す。
関連論文リスト
- Combining audio control and style transfer using latent diffusion [1.705371629600151]
本稿では,単一モデル内での明示的な制御とスタイル転送を統一することを目的とする。
我々のモデルは、明示的な制御または他のオーディオ例を通して構造を指定しながら、音色ターゲットにマッチする音声を生成することができる。
本手法は,異なるジャンルのターゲットオーディオのスタイルにリズミカル・メロディックなコンテンツを転送することで,完全な楽曲のカバーバージョンを生成することができることを示す。
論文 参考訳（メタデータ） (2024-07-31T23:27:27Z) - Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization [70.13218512896032]
テキストプロンプトから音声を生成することは、音楽や映画産業におけるそのようなプロセスの重要な側面である。
我々の仮説は、これらのオーディオ生成の側面が、限られたデータの存在下でのオーディオ生成性能をどのように改善するかに焦点を当てている。
我々は、各プロンプトが勝者の音声出力と、拡散モデルが学習するための敗者音声出力を持つ選好データセットを合成的に作成する。
論文 参考訳（メタデータ） (2024-04-15T17:31:22Z) - Controllable Music Production with Diffusion Models and Guidance
Gradients [3.187381965457262]
44.1kHzステレオオーディオにおいて,拡散モデルから条件付き生成を用いて,様々な現実的なタスクに対処する方法を実証する。
このシナリオには、継続性、音楽オーディオのインペイントと再生、2つの異なる音楽トラック間のスムーズな遷移の生成、既存のオーディオクリップへの所望のスタイル特性の転送などが含まれる。
論文 参考訳（メタデータ） (2023-11-01T16:01:01Z) - AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining [46.22290575167155]
本稿では, 音声, 音楽, 音響効果生成のための同じ学習手法を用いた枠組みを提案する。
私たちのフレームワークでは、LOA(Language of Audio)と呼ばれる音声の一般的な表現を導入しています。
論文 参考訳（メタデータ） (2023-08-10T17:55:13Z) - Large-scale unsupervised audio pre-training for video-to-speech
synthesis [64.86087257004883]
音声合成は、話者の無声映像から音声信号を再構成する作業である。
本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。
次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
論文 参考訳（メタデータ） (2023-06-27T13:31:33Z) - Exploring the Role of Audio in Video Captioning [59.679122191706426]
本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。
本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
論文 参考訳（メタデータ） (2023-06-21T20:54:52Z) - Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。
生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。
トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
論文 参考訳（メタデータ） (2023-02-08T07:27:27Z) - Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion
Models [65.18102159618631]
マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。
高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。
本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
論文 参考訳（メタデータ） (2023-01-30T04:44:34Z) - AudioGen: Textually Guided Audio Generation [116.57006301417306]
記述文キャプションに条件付き音声サンプルを生成する問題に対処する。
本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
論文 参考訳（メタデータ） (2022-09-30T10:17:05Z) - Learning music audio representations via weak language supervision [14.335950077921435]
我々は,一連のプロキシタスクによって最適化された音楽と言語事前学習(MuLaP)のためのマルチモーダルアーキテクチャを設計する。
弱い監督は、トラックの全体的な音楽内容を伝える、騒々しい自然言語記述の形で提供される。
提案手法の有効性を,同一のオーディオバックボーンが生成する音声表現の性能と,異なる学習戦略とを比較して示す。
論文 参考訳（メタデータ） (2021-12-08T10:30:52Z) - MusCaps: Generating Captions for Music Audio [14.335950077921435]
時間的注目のエンコーダデコーダで構成された最初の音楽オーディオキャプションモデルであるMusCapsを紹介します。
本手法は畳み込み型ニューラルネットワークアーキテクチャと繰り返し型ニューラルネットワークアーキテクチャを組み合わせて,音声テキスト入力を共同処理する。
我々のモデルは、分類に基づく音楽記述から脱却し、聴覚と言語の両方の理解を必要とするタスクを組み合わせている。
論文 参考訳（メタデータ） (2021-04-24T16:34:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。