論文の概要: Synthesis and editing of multi-instrument audio mixtures using scalar-quantised latents with MIDI Span conditioning

• arxiv url: http://arxiv.org/abs/2609.25546v1
• Date: Tue, 22 Sep 2026 01:21:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.170038
• Title: Synthesis and editing of multi-instrument audio mixtures using scalar-quantised latents with MIDI Span conditioning
• Title（参考訳）: MIDIスパン条件付きスカラー量子化潜水器を用いた多成分オーディオ混合物の合成と編集
• Abstract要約: Span Synth-Editは、MIDI誘導型オーディオミックスの合成と編集のためのフローマッチングモデルである。 このモデルは、楽器固有の音色誘導にコンテキストオーディオを使用し、修正MIDIから対象領域を再ラベルすることで編集をサポートする。 シングルおよびマルチインストールベンチマークの実験は、競合性能を示し、フレーム内のオンセット制御を示す。
• 参考スコア（独自算出の注目度）: 20.928258517489603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Music creation often involves iterative refinement, changing selected musical details while retaining the rest. To support such refinement, we introduce SpanSynth-Edit, a flow-matching model for MIDI-guided synthesis and editing of multi-instrument audio mixtures using low-frame-rate scalar-quantised latents. MIDI Span encodes instrument-labelled note lifecycles as unordered event sets with continuous-valued attributes and pools each set into one conditioning vector per audio-latent frame. The model uses contextual audio for instrument-specific timbre guidance and supports editing by resynthesising the target region from revised MIDI. Experiments on single- and multi-instrument benchmarks show competitive performance and demonstrate within-frame onset control. We also discuss limitations of transcription-based note-adherence evaluation.
• Abstract（参考訳）: 音楽の創造は、しばしば反復的な洗練を伴い、残りの部分を維持しながら、選択された音楽の詳細を変更する。 このような改善を支援するため,低フレームレートスカラー量子化潜水器を用いたMIDI誘導型音声合成・編集のためのフローマッチングモデルであるSpanSynth-Editを導入する。 MIDI Spanは、音符のライフサイクルを、連続値の属性を持つ順序のないイベントセットとしてエンコードし、各セットをオーディオラテントフレーム毎に1つの条件ベクトルに設定する。 このモデルは、楽器固有の音色誘導にコンテキストオーディオを使用し、修正MIDIからターゲット領域を再合成することで編集をサポートする。 シングルおよびマルチインストールベンチマークの実験は、競合性能を示し、フレーム内のオンセット制御を示す。 また,書き起こしに基づくノートアダクタンス評価の限界についても論じる。

関連論文リスト

• Break-the-Beat! Controllable MIDI-to-Drum Audio Synthesis [18.032312795378004]
  ワンショットサンプルや再サンプリングなど、デジタル音楽制作におけるドラムループオーディオ作成の現在の手法は、しばしば自明な努力を必要としている。 ドラムMIDIをレファレンスオーディオの音色でレンダリングできるモデル「Break-the-Beat!」を紹介します。
  論文  参考訳（メタデータ） (2026-05-14T08:32:38Z)
• Muse: Towards Reproducible Long-Form Song Generation with Fine-Grained Style Control [66.46754271097555]
  我々は, きめ細かなスタイル条件付き長大な楽曲生成のための, 完全オープンソースシステムをリリースする。 データセットは116kの完全ライセンスの合成曲で構成され、自動生成の歌詞とスタイル記述がある。 我々は、個別の音声トークンで拡張されたQwenベースの言語モデルの単一ステージ教師付き微調整によりMuseを訓練する。
  論文  参考訳（メタデータ） (2026-01-07T14:40:48Z)
• Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement [0.0]
  CoSaRefはMIDI-to-audio合成法であり、MIDI-audioペアデータセットを必要としない。 MIDIの入力に基づいて合成音声トラックを生成し、MIDIアノテーションなしでデータセットに基づいて訓練された拡散に基づく深層生成モデルで洗練する。 デジタルオーディオワークステーションの伝統的な機能と同様、音声サンプルの選択やMIDI設計を通じて音色や表現を詳細に制御することができる。
  論文  参考訳（メタデータ） (2024-10-22T08:01:40Z)
• Accompanied Singing Voice Synthesis with Fully Text-controlled Melody [61.147446955297625]
  Text-to-song (TTSong) は、歌声の伴奏を合成する音楽生成タスクである。 完全テキスト制御されたメロディで高品質な曲を生成する最初のTTSongモデルであるMelodyLMを提案する。
  論文  参考訳（メタデータ） (2024-07-02T08:23:38Z)
• DiffMoog: a Differentiable Modular Synthesizer for Sound Matching [48.33168531500444]
  DiffMoogはモジュラーシンセサイザーで、一般に商用機器で見られるモジュールの集合を包含する。 差別化が可能であるため、ニューラルネットワークとの統合が可能になり、自動サウンドマッチングが可能になる。 我々はDiffMoogとエンドツーエンドのサウンドマッチングフレームワークを組み合わせたオープンソースのプラットフォームを紹介した。
  論文  参考訳（メタデータ） (2024-01-23T08:59:21Z)
• Multi-view MidiVAE: Fusing Track- and Bar-view Representations for Long Multi-track Symbolic Music Generation [50.365392018302416]
  長い多トラックのシンボリック・ミュージックを効果的にモデル化・生成するVAE手法の先駆者の一つであるMulti-view MidiVAEを提案する。 我々は,ハイブリッドな変分符号化・復号化戦略を用いて,楽器の特徴と調和,および楽曲のグローバルおよびローカルな情報に焦点をあてる。
  論文  参考訳（メタデータ） (2024-01-15T08:41:01Z)
• Multi-instrument Music Synthesis with Spectrogram Diffusion [19.81982315173444]
  我々は、MIDIシーケンスから任意の組み合わせの楽器をリアルタイムで生成できるニューラルシンセサイザーの中盤に焦点を当てる。 MIDIはエンコーダ・デコーダ変換器でスペクトログラム、次いでGAN(Generative Adversarial Network)スペクトルインバータでスペクトログラムからオーディオへ分光する。 これは、楽器と音符の任意の組み合わせのための対話的で表現力のあるニューラルシンセシスに向けた、有望な第一歩である。
  論文  参考訳（メタデータ） (2022-06-11T03:26:15Z)
• Conditional Drums Generation using Compound Word Representations [4.435094091999926]
  複合語表現にインスパイアされた新しいデータ符号化方式を用いて、条件付きドラム生成の課題に取り組む。 本稿では,双方向長短期メモリ(BiLSTM)が条件パラメータに関する情報を受信するシーケンス・ツー・シーケンスアーキテクチャを提案する。 比較的グローバルな注目を集めたトランスフォーマーベースのデコーダが生成したドラムシーケンスを生成する。
  論文  参考訳（メタデータ） (2022-02-09T13:49:27Z)
• Vector-Quantized Timbre Representation [53.828476137089325]
  本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。 音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。 オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
  論文  参考訳（メタデータ） (2020-07-13T12:35:45Z)
• VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
  本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。 提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
  論文  参考訳（メタデータ） (2020-03-30T16:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。